团队力量让我们站在云端!
真的感觉团队的力量太强大了,整个集群配置能够顺利进行,完全是靠大家合作才能完成。我们确实有很多不明白的地方,但是我们的每一个人都敢于探索,敢于去实践,敢于去做各种尝试,最终的结果就是我们克服了各种困难完成了云端的搭建!
好了进入正题,假设每台机器都按照前一篇所属配置好了hadoop环境,那么接下来开始配置集群环境。
集群配置分为以下几个步骤:
1、 修改机器的IP地址等信息
2、 配置namenode的hosts文件;
3、 配置namenode的masters和slaves文件;
4、 配置namenode的core-site、mapred-site、hdfs-site文件;
5、 远程拷贝(可选操作)上述文件给所有的slaves;
6、 在namenode上生成公钥,远程拷贝公钥给所有的slaves,slaves上将公钥添加到授权文件;
7、s laves ssh连接master;
8、d ata结点启动datanode和tasktracker,name结点启动所有的data结点;
一、 修改机器IP;
这里我们总共准备了十台机器,依次将机器的IP地址改为192.168.1.2-192.168.1.11
选定11号机器为namenode,10号机器作为secondarynamenode;
二、 配置namenode的hosts文件;
sudo gedit /etc/hosts
修改文件如下:
127.0.0.1 localhost
127.0.1.1 ubuntu.ubuntu-domain ubuntu
192.168.1.11 master
192.168.1.7 s7
192.168.1.4 s4
192.168.1.2 s2
192.168.1.3 s3
192.168.1.5 s5
192.168.1.6 s6
192.168.1.8 s8
192.168.1.9 s9
192.168.1.10 s10
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
三、 配置namenode的masters和slaves文件
cd /usr/local/hadoop
sudo gedit conf/masters
修改如下:
master
sudo gedit conf/slaves
s2
s3
S4
s5
S6
S7
S8
S9
这里配置的masters和slaves文件只是作为一种映射关系,将对应的名称映射到hosts文件中的IP;
四、 配置namenode的core-site、mapred-site、hdfs-site文件
sudo gedit conf/core-site.xml
1 <configuration>
2 <property>
3 <name>fs. default .name</name>
4 <value>hdfs:// master :9000</value>
5 </property>
6 <property>
7 <name>dfs.replication</name>
8 <value>1</value>
9 </property>
10 <property>
参数详解:第一个属性表示namenode的主机和端口,第二个属性表示hdfs中文件备份个数。
sudo gedit conf/mapred-site.xml
1 <configuration>
2 <property>
3 <name>mapred.job.tracker</name>
4 <value> master :9001</value>
5 </property>
6 </configuration>
参数详解:JobTracker的主机和端口;
sudo geidt conf/hdfs-site.xml
1 <property>
2 <name> dfs.name.dir </name>
3 <value> /home/hadoop/hdfs/name </value>
4 </property>
5
6 <property>
7 <name> dfs.data.dir </name>
8 <value> /home/hadoop/hdfs/data </value>
9 </property>
参数详解:第一个属性表示 NameNode 持久存储名字空间及事务日志的本地文件系统路径。
第二个属性表示 DataNode 存放块数据的本地文件系统路径 。
五、远程拷贝(可选操作)slaves上的文件给master;
scp /etc/hosts hadoop@s2:/etc/hosts
.
.
.
scp conf/core-site.xml hadoop@s2:/usr/local/hadoop/conf/core-site.xml
.
.
scp conf/mapred-site.xml hadoop@s2:/usr/local/hadoop/conf/mapred-site.xml
.
.
scp conf/hdfs-site.xml hadoop@s2:/usr/local/hadoop/conf/hdfs-site.xml
.
data结点上修改master文件同name结点,经过实践我们发现data结点作为slave,slaves文件其实不用修改。
六、 在namenode上生成公钥,远程拷贝公钥给所有的slaves,slaves上将公钥添加到授权文件;
1. 生成公钥: ssh-keygen -t dsa -P "" -f ~/.ssh/id_ r sa
2. 远程拷贝: scp ~/.ssh/id_rsa.pub hadoop@master ~/.ssh/
3. data结点上添加到收信任列表: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorizedkeys
七、 datanode ssh连接namenode
ssh master
八、 配置SecondaryNamenode( 号外! )
修改masters 文件,改为 s10
修改hdfs-site.xml 文件
<property>
<name>dfs.http.address</name>
<value> 192.168.1.11 :50070</value> >
</property>
九、data结点启动datanode和tasktracker,name结点启动所有的data结点
namenode启动之前做一次 block 负载均衡
sudo gedit conf/hdfs-site.xml
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in
term of the number of bytes per second.
</description>
</property>
bin/start-balancer.sh
在新的结点上启动datanode
bin/hadoop-daemon.sh start datanode
启动tasktracker
bin/hadoop-daemon.sh start tasktracker
启动SecondaryNameNode
bin/hadoop-daemon.sh start SecoondaryNameNode
启动namenode
bin/start-dfs.sh
连接时可以在namenode上查看连接情况:
bin/hadoop dfsadmin -report
运行测试和单机版基本步骤一致,参见前文!
好了配置完毕!由于是新手,还有N 多问题没有理解,敬请各位大牛指点!不过此文还会经过修改,敬请期待!
<!--EndFragment-->