Hadoop集群安装与配置
①在Master上安装与配置Hadoop
将hadoop-1.2.1.tar.gz复制到"/usr"目录下面,解压兵命名为hadoop,赋予用户hadoop权限
(chown -R hadoop:hadoop /usr/hadoop)
在/usr/hadoop下创建tmp文件夹(tmp的权限也要如上修改),配置环境/etc/profile,在其尾部添加:
重启/etc/profile:
source /etc/profile
下面进行hadoop文件的配置,说明:
Hadoop配置文件均在/usr/hadoop/conf目录下,之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。由于Hadoop发展迅速,代码量急剧增加,代码开发分为了core,hdfs和map/reduce三部分,配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件;core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。
1)配置hadoop-env.sh
在文件末位添加:
2)配置core-site.xml
此处配置HDFS的地址和端口号。如图:
因为Hadoop架构是主master模式,所以在一个集群中的所有master及slave上设置的fs.default.name值应该是唯一一个NameNode主服务器的地址。
3)配置hdfs-site.xml
备份数要少于等于salve的数目
4)配置mapred-site.xml
此处配置的是JobTracker,由于JobTracker(NameNode)位于Master节点上,所以此文件在master和slave上的内容一样。
5)配置masters文件和slaves文件
masters文件:
(你的master节点主机的ip)
slaves文件:
(你的slaves节点主机的ip)
Master节点上的Hadoop安装及配置就完成了
②Slave上的安装和配置
可以用scp命令直接复制Master节点上的/usr/hadoop到slave上的/usr下,并修改权限
(chown -R hadoop:hadoop /usr/hadoop)
经过测试与网上的资料,slave节点的配置文件(上面列出的)可以和master一样(slave机器上的slavers文件是不必要的, 复制了也没问题)
最后把所有slave机器上的/etc/profile文件,加入如下内容,并source /etc/profile。