Hadoop集群配置【三、多节点部署】

参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

a)   安装准备

所有机器的用户名和$HOME目录配置一致；（用户名、密码、目录结构）

所有机器JDK的安装目录为/usr/lib/jvm/java-6-openjdk；

每台机器的/etc/hosts文件中包括所有机器的IP和hostname一致；

建议在一台上配好后，直接把hosts加上的映射内容复制过去。

选取一台机器作为master，在配置都差不多的情况下，选取IP最低或最高的，便于管理和记忆。配置ssh，首先使其无密码连接到localhost【注意事项参见第二章和第一章】：

$ chmod g-w ~/.ssh/authorized_keys

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• 然后使其无密码连接到其他每个slave：

$ ssh-copy-id -i $HOME/.ssh/id_rsa.pub username@slave

（注：若没成功，可能需要在slave节点修改$HOME /.ssh/authorized_keys的权限：$ chmod g-w ~/.ssh/authorized_keys）。如果机器上ssh-copy-id脚本无法运行那么就把你master上生成的公钥id_rsa.pub scp到每个slave上面，然后把该文件的内容追加到slave的$HOME /.ssh/authorized_keys文件中。

• 在每台服务器的每块硬盘上建立用户可读写的目录$HDATA1, $HDATA2,…【这里为了提高机器硬盘的利用率】

b)   在master上解压hadoop-xxx.tgz

c)   修改$HADOOP_HOME/conf/masters

将masters文件中的hostname改为master的hostname（参照/ect/hosts文件中的对应关系）。

d)   修改$HADOOP_HOME/conf/slaves

修改slaves文件中的所有节点的hostname。（参照/ect/hosts文件中的对应关系）。

e)   修改$HADOOP_HOME/conf/core-site.xml

将fs.default.name中的hostname改为master的hostname。

f)   修改$HADOOP_HOME/conf/mapred-site.xml

将mapred.job.tracker中的hostname改为master的hostname。

g)  修改mapred-site.xml中的,来进行多硬盘配置，如果不想多硬盘，那么这一步就省去。

<property> 

  <name>mapred.local.dir</name> 

  <value>$HDATA1, $HDATA2, …</value>  

</property> 

修改hdfs-site.xml的dfs.data.dir

<property>

  <name>dfs.data.dir</name>

  <value>$HDATA1, $HDATA2, …</value>

</property>

[默认tmp dir是系统/tmp，可以更改为其他目录]

修改core-site.xml中的

<property> 

  <name> hadoop.tmp.dir </name> 

  <value> xxxx </value>  [这里不要设置为/tmp ，不然会卡掉]

</property> 

 

h) 配置好之后，将master上的hadoop目录压缩，然后scp到slave机上，因为他们所有的配置要求一致。

tar zcvf hadoop-xxx.tgz hadoop-xxx/

scp hadoop-xxx.tgz slave1:~/

scp hadoop-xxx.tgz slave2:~/

scp hadoop-xxx.tgz slave3:~/

scp hadoop-xxx.tgz slave4:~/

i)  检测hadoop集群是否安装成功

• 开启hadoop

在master节点上进入hadoop的安装目录，第一次开启hadoop要格式化hadoop文件系统，输入以下命令：

$ bin/hadoop namenode –format

然后开启hadoop，输入命令：

$ bin/start-all.sh

检测hadoop进程是否都启动【出了问题就去第一章看看】

输入命令：$ jps

hadoop启动成功的话，master上会出现以下进程：

TaskTracker

JobTracker

DataNode

SecondaryNameNode

NameNode

Jps

slave上会出现以下进程：

TaskTracker

       DataNode

       Jps

• 停止hadoop

在master节点上进入hadoop的安装目录,输入以下命令：

$ bin/stop-all.sh

 

j)   成功启动了Hadoop之后，可以运行一下Hadoop提供的wordcount实例，hadoop-examples-x-jar。

方法如下：

1.创建你要统计单词个数的文本

mkdir wordcount【创建一个目录来存放你要输入的文本文件file1，file2】

cd wordcount

echo ‘a b c c d e e e’ > file1【这里将一长串字母写入了file1，没有文件将会生成一个】

echo ‘a a c c a e e e’ > file2

2.在hdfs上创建输入目录

hadoop fs -mkdir /input  

3.把上述文件拷贝到HDFS

hadoop fs –copyFromLocal file* /input/
4.运行
hadoop jar hadoop-examples.jar  wordcount  /input /output

5.查看结果

hadoop fs –ls /output

这里面会显示长生的结果文件

hadoop fs –cat /output/part-r-00000

这样就可以查看结果内容了

[注意，/input这样就会把目录生成在hdfs的根目录，如果是hadoop fs -mkdir input ，那么就会在/user/$yourname/input]

 

附录【如果你没有足够的权限去配置系统，那么请让你的管理员做这些】：

1.修改每台服务器的hosts,将这6台服务器的内网IP和主机名的映射加入；
2.需要开启40030和60010的网页端口，方便查看状态，40030是hadoop的，60010是Hbase的；
3.这6台服务器的时间要同步，不同步就会出现一些问题；
4.Hbase的基本优化里需要对系统做如下更改：
1>设置文件打开数和进程数的限制ulimit and nproc
在/etc/security/limits.conf中添加下面两行:
daehbase – nofile 32768
daehbase soft/hard nproc 32000
2>在/etc/pam.d/common-session中添加一行
session required pam_limits.so

 

下一章说Hbase的配置

转载于:https://www.cnblogs.com/colorfulkoala/archive/2012/07/11/2586137.html