实验环境:
centos5.6+jdk1.6.2+hadoop-0.20.2+zookeeper3.3.5+hbase0.90.6
准备好三台机器,
机器名 ip 作用
master 192.168.16.130 namenode
slave1 192.168.16.131 datanode
slave2 192.168.16.132 datanode
一、hadoop的安装配置
1、在/etc/hosts中配置机器名和相应的IP(三台机器一样的配置):
192.168.16.130 master
192.168.16.131 slave1
192.168.16.132 slave2
修改完后记得使设置生效,运行命令:hostname master、hostname slave1、hostname slave2
2、配上SSH免密码登陆,在master上实现无密码登陆slave1、slave2
(1)在master机下生成公钥/私钥对。
[huanghaibing@master ~]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
-P表示密码,-P '' 就表示空密码,也可以不用-P参数,这样就要三车回车,用-P就一次回车。
它在/home/huanghaibing下生成.ssh目录,.ssh下有id_dsa和id_dsa.pub。
(2)、把master机下的id_dsa.pub复制到slave1和slave2机下,在slave1机的.ssh/authorized_keys文件里,我用scp复制。
[huanghaibing@master ~]$ scp .ssh/id_dsa.pub huanghaibing@192.168.16.131:/home/huanghaibing/id_dsa.pub
huanghaibing@192.168.192.131d1's password:
id_rsa.pub 100% 223 0.2KB/s 00:00
由于还没有免密码登录的,所以要输入密码
(3)、slave1机把从master机复制的id_rsa.pub添加到.ssh/authorzied_keys文件里。
[huanghaibing@slave1 ~]$ cat id_dsa.pub >> .ssh/authorized_keys
[huanghaibing@slave1 ~]$ chmod 600 .ssh/authorized_keys
authorized_keys的权限要是600
master机登录slave1机:ssh slave1
第一次登录是时要输入yes
现在master机可以无密码登录slave1机了
slave2机配置跟slave1机一模一样,不再赘述,至此无密码登陆已经配置完成(注:配置完后记得关闭防火墙,如果不关闭,会出现找不到datanode问题,分别执行命令:service iptables stop和chkconfig iptables off)
3、安装JDK1.6.0_13,并配置环境变量
JAVA_HOME=/usr/java/jdk1.6.0_13
PATH=$PATH:/usr/java/jdk1.6.0_13/bin
CLASSPATH=.:/usr/java/jdk1.6.0_13/jre/lib/rt.jar
export JAVA_HOME PATH CLASSPATH
4、安装hadoop
下载hadoop-0.20.2.tar.gz:
解压:$ tar –zvxf hadoop-0.20.2.tar.gz
把Hadoop 的安装路径添加到环/etc/profile 中:
export HADOOP_HOME=/home/huanghaibing/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
5、配置hadoop
(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同):
$ vim hadoop-env.sh
$ export JAVA_HOME=/usr/java/jdk1.6.0_13
(2)配置conf/masters 和conf/slaves 文件:(只在namenode 上配置)
masters:
master
slaves:
slave1
slave2
(3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配置,namenode 与datanode 的配置相同)
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>Hadoop.tmp.dir</name>
<value>/home/huanghaibing/hadoopData</value>
</property>
</configuration>
hdfs-site.xml:( replication 默认为3,如果不修改,datanode 少于三台就会报错)
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
(namenode 与datanode的配置一样,只是datanode不用配masters与slaves,其中core.xml与mapred-site.xml的value值均要配成namenode的ip地址。)
6、运行hadoop
进入hadoop-0.20.2/bin,
首先格式化文件系统:$ hadoop namenode –format
(如果在这里输入命令 hadoop namenode –format,返回bash: hadoop:找不到命令;则进入hadoop文件,输入命令bin/hadoop namenode -format 就可以格式化了。)
启动Hadoop:$ start-all.sh
通过jps命令查看当前信息,
通过bin/hadoop dfsadmin -report查看各节点运行状态
二、zookeeper的安装配置
zookeeper的安装配置比较简单,下载、解压到/home/huanghaibing/zookeeper,在zookeeper目录下创建data目录来存放zookeeper的数据,这里需要配置的就是/zookeeper/conf下的zoo.cfg配置文件,
zookeeper最初只有zoo.sample.cfg,将其改名为zoo.cfg,然后配置:
起步阶段只需考虑dataDir和clientPort属性,参考别人的教程配置为:
# the directory where the snapshot is stored.
dataDir=/home/huanghaibing/zookeeper/data
# the port at which the clients will connect
clientPort=2222
最后因为我们要配置的是集群,所以需要在zoo.cfg中添加
server.1=192.168.16.130:2888:3888
server.2=192.168.16.131:2888:3888
server.3=192.168.16.132:2888:3888
其中等号左边1,2是代表这是第几个zookeeper,也即机器的id,我们还需要在每台机器上的data目录下创建一个文件myid,其内容即为其ip对应的id。
等号右边依次为机器ip,通信端口,选举leader端口
三、hBase安装配置
下载hbase-0.90.6.tar.gz,解压到/home/huanghaibing,并用mv修改其目录名为hbase,
开始集群配置:
1、修改conf/hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_13
export HBASE_CLASSPATH=/home/huanghaibing/hadoop-0.20.2/conf
export HBASE_MANAGES_ZK=false
2、修改hbase-site.xml,增加以下内容
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>(注:这里须hadoop-config/core-site.xml中的fs.default.name保持一致)
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>(注:这里的端口需要和zookeeper的端口配置值一样)
<description>Property from ZooKeeper's config zoo.cfg.</description>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/huanghaibing/zookeeper</value> <!--zookeeper的路径-->
<description>Property from ZooKeeper's config zoo.cfg. The directory where the snapshot is stored.</description>
</property>
3、把/home/huanghaibing/hadoop-0.20.2/conf/hdfs-site.xml文件拷贝至hbase的conf文件夹下
4、把/home/huanghaibing/zookeeper/conf/zoo.cfg拷贝至/home/huanghaibing/hadoop-0.20.2/conf/文件夹下
5、在conf/regionservers中添加所有的datanode节点slave1、slave2
6、删除/hbase-0.90.6/lib/hadoop-core-0.20-append-r1056497.jar
拷贝/hadoop-0.20.2/hadoop-0.20.0-core.jar到/hbase-0.90.6/lib/
7、最后,把配置好的hbase-0.90.6,拷贝到其它节点scp
到了这里整个配置就完成了,在namenode上启动hadoop集群,接着在每台机器上启动zookeeper,最后启动hbase,以./hbase shell进入hbase的shell命令行,运行status查看当前的状态,如果命令可正常运行说明集群配置成功。