hadoop
文章平均质量分 79
爱代码也爱生活
吸收别人的精华,记录自己走过的坑,爱好php、java、运维、web前端
展开
-
Hadoop学习笔记:MapReduce框架详解
来自:http://www.cnblogs.com/sharpxiajun/p/3151395.html开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有转载 2016-07-13 11:02:42 · 849 阅读 · 0 评论 -
LVS 工作模式以及工作原理
LVS 简介 LVS 是 Linux Virtual Server ,Linux 虚拟服务器;是一个虚拟的服务器集群【多台机器 LB IP】。LVS 集群分为三层结构:负载调度器(load balancer):它是整个LVS 集群对外的前端机器,负责将client请求发送到一组服务器[多台LB IP]上执行,而client端认为是返回来一个同一个IP【通常把这个I转载 2016-07-13 14:52:28 · 384 阅读 · 0 评论 -
关于大型网站技术演进的思考(八)--存储的瓶颈终篇(8)
在开始本篇主要内容前,我们一起看看下面的几张截图,首先是第一张图,如下图所示: 这是一家电商网站的首页,当我们第一次打开这个首页,网站会弹出一个强制性的对话框,让用户选择货物配送的地址,如果是淘宝和京东的话,那么这个选择配货地址的选项是在商品里,如下图是淘宝的选择配送地点: 下图是京东选择配货地点: 那么图一跟京东和淘宝有什么区别呢?图一转载 2016-07-13 15:07:47 · 415 阅读 · 0 评论 -
OpenStack和CloudStack对比研究报告
1. 概述常见的IaaS开源平台有OpenStack、CloudStack、Eucalyptus和OpenNebula,公开的现状报告和社区分析显示,OpenStack和CloudStack的在企业接受度和社区的发展情况已经远远超越另外两者,如图1所示。本研究报告将对OpenStack和CloudStack这两个最为流行的开源云平台进行对比,为企业在进行私有云建设时的技术选型提供参考和建议转载 2016-07-16 10:54:43 · 2416 阅读 · 0 评论 -
centos lvs+keepalived+mysql实现mysql数据库热备主主复制
实验环境:linux:centos6.6虚拟ip(vip):192.168.135.199mysql master:192.168.20.193mysql slave:192.168.20.195(这里只是为了后文方便区分,一个叫master,一个叫slave,其实在主主复制中,都是master也都是slave,没有主从之分)mysql的版本:[root@localho原创 2016-07-15 15:58:38 · 5397 阅读 · 1 评论 -
centos部署lvs+keepalived+apache/tomcat实现高性能高可用负载均衡
前言:常用的有的负载均衡软件有lvs、haproxy、nginx一般lvs和keeplavied一起使用lvs是实现负载均衡作用的,即将客户端的需求采用特定的负载均衡算法分发到后端的Web应用服务器上,Keepalived是用来实现高可用的,即保证主lvs宕机后,从lvs可以在很短时间顶上,从而保证了系统或网站的稳定性注意事项1、虚拟ip不需物理机,设置ip前先本机pi原创 2016-07-14 19:10:32 · 8407 阅读 · 0 评论 -
centos6.6安装hadoop2.6.0集群
注意事项:1、测试时三台机器防火墙都关闭2、我这使用的是root帐号,如果非root帐号注意权限3个机器的主机和ip规划如下:IP地址 主机名 用途192.168.20.197 hd1 namenode192.168.20.197 hd2 datanode192.168.20.197 hd3 dat原创 2016-07-15 21:25:24 · 727 阅读 · 0 评论