Hadoop federation配置
1、介绍
hadoop federation也称为联邦,主要是对namenode进行扩容。HA模式下只是实现了hadoop namenode的高可用,但是随着文件数据的不断增家,导致对namenode的压力越来越大,因此就需要对namenode的负载进行均衡处理。联邦的本质是配置多个namenode集群,将不同的路径映射到不同的集群上即可。但是需要注意所有namenode的集群有着一致的clusterid。结构图如下:
2、集群规划
本例中引入四台namenode,分别是s101、s102、s103和s104。其中s101和s102组成集群ns1,s103和s104组成集群ns2。
3、集群准备
以上四台节点都需要配置ssh,能够登录到所有的集群节点。
4、停止原来的集群
$>stop-dfs.sh
5、配置文件
5.1hdfs-site.xml
s101和s102配置相同
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <!-- **************ns1********************* --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>s101:8020</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>s102:8020</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>s101:50070</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>s102:50070</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode .ha.ConfiguredFailoverProxyProvider</value> </property> <!-- **************ns2********************* --> <property> <name>dfs.ha.namenodes.ns2</name> <value>nn3,nn4</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn3</name> <value>s103:8020</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn4</name> <value>s104:8020</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn3</name> <value>s103:50070</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn4</name> <value>s104:50070</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns2</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!--***********************************************--> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://s102:8485;s103:8485;s104:8485/ns1</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/centos/.ssh/id_rsa</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
s103和s104配置相同
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <!-- **************ns1********************* --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>s101:8020</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>s102:8020</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>s101:50070</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>s102:50070</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode .ha.ConfiguredFailoverProxyProvider</value> </property> <!-- **************ns2********************* --> <property> <name>dfs.ha.namenodes.ns2</name> <value>nn3,nn4</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn3</name> <value>s103:8020</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn4</name> <value>s104:8020</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn3</name> <value>s103:50070</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn4</name> <value>s104:50070</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns2</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!--***********************************************--> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://s102:8485;s103:8485;s104:8485/ns2</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/centos/.ssh/id_rsa</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
5.2 core-site.xml
<?xml version="1.0"?>
<configuration xmlns:xi="http://www.w3.org/2001/XInclude">
<xi:include href="mountTable.xml" />
<property>
<name>fs.defaultFS</name>
<value>viewfs://ClusterX</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/centos/hadoop/federation/journalnode</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/centos/hadoop/federation</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>s102:2181,s103:2181,s104:2181</value>
</property>
</configuration>
5.3 mountTable.xml
<configuration>
<property>
<name>fs.viewfs.mounttable.ClusterX.homedir</name>
<value>/home</value>
</property>
<property>
<name>fs.viewfs.mounttable.ClusterX.link./home</name>
<value>hdfs://ns1/home</value>
</property>
<property>
<name>fs.viewfs.mounttable.ClusterX.link./tmp</name>
<value>hdfs://ns2/tmp</value>
</property>
<property>
<name>fs.viewfs.mounttable.ClusterX.link./projects/foo</name>
<value>hdfs://ns1/projects/foo</value>
</property>
<property>
<name>fs.viewfs.mounttable.ClusterX.link./projects/bar</name>
<value>hdfs://ns2/projects/bar</value>
</property>
</configuration>
6、实操
6.1 删除日志和临时目录
$>xcall.sh rm -rf /soft/hadoop/logs/*
$>xcall.sh rm -rf /home/centos/hadoop/federation/*
6.2 修改软连接
$>xcall.sh ln -sfT /soft/hadoop/etc/federation /soft/hadoop/etc/hadoop
6.3 格式化ns1集群
启动journalnode节点
登录s102、s103和s104,分别执行以下命令:
$>hadoop-daemon.sh start journalnode
格式化nn1节点
$>hdfs namenode -format
复制nn1元数据到nn2
$>scp -r /home/centos/hadoop/federation centos@s102:/home/centos/hadoop
nn2上执行引导
# s101启动名称节点 $>hadoop-daemon.sh start namenode # s102执行引导,不要重格(N) $>hdfs namenode -bootstrapStandby
nn2初始化编辑共享日志
# 初始化共享编辑日志 $>hdfs namenode -initializeSharedEdits
格式化zk节点
$>hdfs zkfc -formatZK
启动nn1和nn2的namenode以及容灾控制器
# s101 $>hadoop-daemon.sh start zkfc # s102 $>hadoop-daemon.sh start namenode $>hadoop-daemon.sh start zkfc
webui测试
http://s101:50070
6.4 格式化ns2集群
格式化ns2集群时,务必需要使用ns1的集群id,以保证他们是一个完成的集群。
格式化nn3,使用nn1的集群id
$>hdfs namenode -format -clusterId CID-e16c5e2f-c0a5-4e51-b789-008e36b7289a
复制s103的元数据到s104上
$>scp -r /home/centos/hadoop/federation centos@s104:/home/centos/hadoop/
在s104引导
# 在s103启动namenode $>hadoop-daemon.sh start namenode # 在s104执行引导 $>hdfs namenode -bootstrapStandby
在s104上初始化编辑日志
$>hdfs namenode -initializeSharedEdits
在s104对zookeeper格式化zkfc(选择Y)
$>hdfs zkfc -formatZK
启动s103和s104的namenode和zkfc进程
# s103 $>hadoop-daemon.sh start zkfc # s104 $>hadoop-daemon.sh start namenode $>hadoop-daemon.sh start zkfc
6.5 重启集群
$>stop-dfs.sh
$>start-dfs.sh
6.6 创建目录
# 切记,使用-p参数创建上级目录
$>hdfs dfs -mkdir -p /home/data
6.7 上传文件
$>hdfs dfs -put 1.txt /home/data
6.8 webui考察
http://s101:50070/
7、小结
配置联邦模式时,第二个namenode的格式化需要指定clusterid,以保证和之前的集群id相同,同时引入挂载表指定不同目录映射到的namenode集群路径。最后,在指定编辑日志存放地址时,最好不同的namenode集群在各自不同的目录下。联邦模式的引进,有效缓解了namenode节点压力的问题,对namenode实现了扩容和负载平衡。