伪分布式集群环境hadoop、hbase、zookeeper搭建（全）

环境说明 

1、操作系统centos 6.5

2、jdk-7u51-Linux-x64.tar.gz  

Hadoop-1.1.2.tar.gz 

Hbase-0.94.7-security.tar.gz  

zookeeper-3.4.5.tar.gz

设置IP地址

设置静态ip

执行

[plain]  view plain copy

1. vim /etc/sysconfig/network-scripts/ifcfg-eth0  
2. DEVICE="eth0"  
3. BOOTPROTO="static"  
4. ONBOOT="yes"  
5. TYPE="Ethernet"  
6. IPADDR="192.168.40.137"  
7. PREFIX="24"  
8. GATEWAY="192.168.40.2"  

设置静态ip后不能上网，有待高手指点

关闭防火墙

• 执行命令 service iptables stop
• 验证:service iptables status
• 关闭防火墙的自动运行
• 执行命令   chkconfig iptables off
• 验证:   chkconfig --list | grep iptables

设置主机名

执行命令

• (1)hostname m
• (2)vi /etc/sysconfig/network

设置ssh免密码登陆

执行命令(1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证： ssh chaoren

安装jdk

执行命令

• (1)cd /usr/local (注意linux下的文件权限问题)
• (2)mv dk-7u51-linux-x64  jdk
• (3)vi /etc/profile 增加内容如下:

[html]  view plain copy

1. export JAVA_HOME=/opt/jdk  
2. export PATH=$JAVA_HOME/bin:$PATH  
3. export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH  

• (4)source /etc/profile
• 验证: java -version

安装hadoop

• 执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz
• (2)mv hadoop-1.1.2 hadoop
• (3)vi /etc/profile 增加内容如下:

[plain]  view plain copy

1. export JAVA_HOME=/usr/local/jdk  
2. export HADOOP_HOME=/usr/local/hadoop  
3. export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH  

• (4)source /etc/profile
• (5)修改conf目录下的配置文件

[plain]  view plain copy

1. 1.hadoop-env.sh  
2. export JAVA_HOME=/usr/local/jdk/  
3.   
4. 2.core-site.xml  
5. <configuration>  
6.     <property>  
7.         <name>fs.default.name</name>  
8.         <value>hdfs://m:9000</value>  
9.     </property>  
10.     <property>  
11.         <name>hadoop.tmp.dir</name>  
12.         <value>/usr/local/hadoop/tmp</value>  
13.     </property>    
14. </configuration>  
15. 3.hdfs-site.xml  
16. <configuration>  
17.     <property>  
18.         <name>dfs.replication</name>  
19.         <value>1</value>  
20.     </property>  
21.     <property>  
22.         <name>dfs.permissions</name>  
23.         <value>false</value>  
24.     </property>  
25. </configuration>  
26.   
27. 4.mapred-site.xml  
28. <configuration>  
29.     <property>  
30.         <name>mapred.job.tracker</name>  
31.         <value>m:9001</value>  
32.     </property>  
33. </configuration>  

• (6)hadoop namenode -format
• (7)$HADOOP_HOME/bin/start-all.sh
• 验证: (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
• (2)在浏览器查看，http://m:50070  http://m:50030  

2安装zookeeper

• zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。
• 在m的/usr/local目录下，解压缩zk....tar.gz，设置环境变量
• 在conf目录下，修改文件 vi zoo_sample.cfg  zoo.cfg
• 编辑该文件，执行vi zoo.cfg
• 修改dataDir=/usr/local/zk/data
• 新增server.0=m:2888:3888
• 创建文件夹mkdir /usr/local/zk/data
• 在data目录下，创建文件myid，值为0
• 启动，在三个节点上分别执行命令zkServer.sh start
• 检验，在三个节点上分别执行命令zkServer.sh status

3安装hbase

• 在hadoop0上解压缩、重命名、设置环境变量HBASE_HOME
• 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下
• export JAVA_HOME=/usr/local/jdk
• export HBASE_MANAGES_ZK=true
• 修改文件hbase-site.xml，修改内容如下

[plain]  view plain copy

1. <property>  
2.       <name>hbase.rootdir</name>  
3.       <value>hdfs://m:9000/hbase</value>  
4.     </property>  
5.     <property>  
6.       <name>hbase.cluster.distributed</name>  
7.       <value>true</value>  
8.     </property>  
9.     <property>  
10.       <name>hbase.zookeeper.quorum</name>  
11.       <value>m</value>  
12.     </property>  
13.     <property>  
14.       <name>dfs.replication</name>  
15.       <value>1</value>  
16.     </property>  

• (可选)修改regionservers，具体操作见ppt
• 启动，执行命令start-hbase.sh

    注意：启动hbase之前要先启动hadoop，确保hadoop可写入数据。