Hadoop分布式文件存储系统HDFS高可用HA搭建

一、准备5台机器:

       1台NameNode,处于active状态。
       1台NameNode,处于standBy状态,如果主NameNode挂了,自动切换到standBy机器,属于Hdoop的HA。可以由很多台处于standBy状态的NameNode,一般一台就够了。同一时刻,只能有一台处于active状态的NameNode 。
        另外3台是DataNode。


二、修改主机名称,用于hadoop机器间的通讯。
 1)、修改DNS解析,vi /etc/hosts
    192.168.62.156 hadoopNameNode
     192.168.62.155 standByNameNode
     192.168.62.152 152dataNode
     192.168.62.153 153dataNode
     192.168.62.154 154dataNode
     2)、同时对127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4中的localhost.localdomain 也分别改名字为hadoopNameNode  standByNameNode 152dataNode 153dataNode 154dataNode
     此命令后,机器之间可以通过ping 153dataNode的方式,直接ping 192.168.62.153
     3)、分别修改主机名称:vi /etc/sysconfig/network
          修改HOSTNAME=hadoopNameNode
          修改HOSTNAME=standByNameNode
          修改HOSTNAME=152dataNode
           修改HOSTNAME=153dataNode
          修改HOSTNAME=154dataNode


三、安装了JDK,,另需要安装ssh。执行 ssh命令如果显示说明SSH已经安装成功。
    usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec]
[-D [bind_address:]port] [-e escape_char] [-F configfile]
[-I pkcs11] [-i identity_file]
[-L [bind_address:]port:host:hostport]
[-l login_name] [-m mac_spec] [-O ctl_cmd] [-o option] [-p port]
[-R [bind_address:]port:host:hostport] [-S ctl_path]
[-W host:port] [-w local_tun[:remote_tun]]
[user@]hostname [command]


四、配置SSH  免密码登陆(每一台服务器上都要执行)
  1)、在每一台服务器上执行:
           ssh-keygen   -t     rsa       之后一路回 车(产生秘钥,会自动产生一个.ssh文件
           位于:./root/.ssh下。


   2)、cd /root/.ssh
   执行:   cp  id_rsa.pub   authorized_keys
  此时执行ssh localhost或ssh IP,无需输入密码就能登录。
 
     上面实际上是生成了公钥和私钥,每台服务器要将自己的公钥发给其他所有机器。
 
   3)、将每台服务器的id_rsa.pub文件(公钥)发送给其他机器(一般先输入yes,再输入密码才会发送过去)
     1)、在hadoopNameNode服务器上执行:
     scp /root/.ssh/id_rsa.pub standByNameNode:/root/.ssh/hadoopNameNode.pub
     scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/hadoopNameNode.pub
     scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/hadoopNameNode.pub
     scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/hadoopNameNode.pub

     2)、在standByNameNode服务器上执行:

     scp /root/.ssh/id_rsa.pub hadoopNameNode:/root/.ssh/standByNameNode.pub
     scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/standByNameNode.pub
     scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/standByNameNode.pub
     scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/standByNameNode.pub

    3)、在152dataNode服务器上执行:

     scp /root/.ssh/id_rsa.pub hadoopNameNode:/root/.ssh/152dataNode.pub
     scp /root/.ssh/id_rsa.pub standByNameNode:/root/.ssh/152dataNode.pub
     scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/152dataNode.pub
     scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/152dataNode.pub

    4)、在153dataNode服务器上执行:

     scp /root/.ssh/id_rsa.pub hadoopNameNode:/root/.ssh/153dataNode.pub
     scp /root/.ssh/id_rsa.pub standByNameNode:/root/.ssh/153dataNode.pub
     scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/153dataNode.pub
     scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/153dataNode.pub

    5)、在154dataNode服务器上执行:

    scp /root/.ssh/id_rsa.pub hadoopNameNode:/root/.ssh/154dataNode.pub
     scp /root/.ssh/id_rsa.pub standByNameNode:/root/.ssh/154dataNode.pub
     scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/154dataNode.pub
     scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/154dataNode.pub

 

4.在每台机器上执行公钥都追加到授权文件里

1)、在hadoopNameNode服务器上执行:
cat  /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
2)、在standByNameNode服务器上执行:
cat  /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
3)、在152dataNode服务器上执行:
cat  /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
4)、在153dataNode服务器上执行:
cat  /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
5)、在154dataNode服务器上执行:
cat  /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat  /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys

5)、验证ssh是否免密码成功 152dataNode hostname
152dataNode

 

6)、搭建Zookeeper集群,参考我的其他文章

目前在这3台机器上搭建了zookeeper集群

 

192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181

 

 

 

7)、在每一台机器上建立如下目录:

    1)在操作系统下建立级联文件夹

     mkdir -p /tmp/hadoop/name

     mkdir -p /tmp/hadoop/data

     mkdir -p /tmp/hadoop/journal

     mkdir -p /tmp/hadoop/tmp

 

 

    2)、赋予权限 

      chmod 777 /tmp/hadoop/name

      chmod 777 /tmp/hadoop/data

      chmod 777 /tmp/hadoop/journal

      chmod 777 /tmp/hadoop/tmp

      chmod 777 haddop安装目录下/bin

      chmod 777 haddop安装目录下/sbin

 

8)、haddop的配置(文件的配置在haddop安装目录下的/etc/haddop目录下,只需要再其中一台hadoop机器上配置,其他的拷贝就可以了,共涉及修改7个配置文件)

     cd /soft/hadoop/etc/hadoop

    1)、修改%hadoop%所在目录下/etc/目录下的hadoop-env.sh(vi /soft/hadoop/etc/hadoop/hadoop-env.sh)

       export JAVA_HOME=/usr/java/jdk1.7.0_67

       export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

    2)、修改vi yarn-env.sh

        export JAVA_HOME=/usr/java/jdk1.7.0_67

    3)、配置slaves,vi slaves,将数据节点dataNode保存到改文件。

      152dataNode
      153dataNode
      154dataNode

    4)、配置vi core-site.xml

 

<configuration>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
 </property>
  <property>
	<name>fs.default.name</name>
	<value>hdfs://hadoopNameNode:9000</value>
	</property>
   <property>
     <name>io.file.buffer.size</name>
     <value>131072</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/tmp/hadoop/tmp</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.hosts</name>
     <value>*</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.groups</name>
     <value>*</value>
  </property>
   <property>
     <name>ha.zookeeper.quorum</name>
     <value>192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181</value>
  </property>
  <property>
     <name>ha.zookeeper.session-timeout.ms</name>
     <value>1000</value>
  </property>
</configuration>

 

mycluster是自己取的一个名字,后面的一些配置文件中需要使用到这个名字。

 

 

5)、配置vi hdfs-site.xml

 

 

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/tmp/hadoop/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/tmp/hadoop/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoopNameNode:9000</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>standByNameNode:9000</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoopNameNode:50070</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>standByNameNode:50070</value>
	</property>
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoopNameNode:8485;standByNameNode:8485;192.168.62.152:8485/mycluster</value>
	</property>
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.Hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!--  <property>
		<name>dfs.namenode.servicerpc-address.hadoopNameNode.hadoopNameNode
		</name>
		<value>hadoopNameNode:53310</value>
	</property>
	<property>
		<name>dfs.namenode.servicerpc-address.hadoopNameNode.standByNameNode
		</name>
		<value>standByNameNode:53310</value>
	</property>-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/tmp/hadoop/journal</value>
	</property>
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
		<value>60000</value>
	</property>
	<property>
		<name>ipc.client.connect.timeout</name>
		<value>60000</value>
	</property>
	<property>
		<name>dfs.image.transfer.bandwidthPerSec</name>
		<value>4194304</value>
	</property>
</configuration>

dfs.namenode.shared.edits.dir配置了2台NameNode,并配置了一台DataNode进去,否则启动会告警不建议偶数台配置。

n1,n2也是自己取的名字。

 


6)、配置vi mapred-site.xml

 

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>


7)、vi yarn-site.xml

 

 

<configuration>
	<property>
		<name>yarn.resourcemanager.connect.retry-interval.ms</name>
		<value>2000</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm1</value>
	</property>
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
		</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk.state-store.address</name>
		<value>192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181</value>
	</property>
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181</value>
	</property>
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms
		</name>
		<value>5000</value>
	</property>
	<!-- RM1 configs -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>hadoopNameNode:23140</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm1</name>
		<value>hadoopNameNode:23130</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoopNameNode:23188</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>hadoopNameNode:23125</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address.rm1</name>
		<value>hadoopNameNode:23141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.admin.address.rm1</name>
		<value>hadoopNameNode:23142</value>
	</property>
	<!-- RM2 configs -->
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>standByNameNode:23140</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>standByNameNode:23130</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>standByNameNode:23188</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>standByNameNode:23125</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address.rm2</name>
		<value>standByNameNode:23141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.admin.address.rm2</name>
		<value>standByNameNode:23142</value>
	</property>
	<!-- Node Manager Configs -->
	<property>
		<description>Address where the localizer IPC is.</description>
		<name>yarn.nodemanager.localizer.address</name>
		<value>0.0.0.0:23344</value>
	</property>
	<property>
		<description>NM Webapp address.</description>
		<name>yarn.nodemanager.webapp.address</name>
		<value>0.0.0.0:23999</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/tmp/pseudo-dist/yarn/local</value>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>
		<value>/tmp/pseudo-dist/yarn/log</value>
	</property>
	<property>
		<name>mapreduce.shuffle.port</name>
		<value>23080</value>
	</property>
</configuration>

 

yarn.resourcemanager.zk.state-store.address配的是zookeeper集群的地址。

 

 

 

10)、在一台机器上完成配置后,只要把整个安装包拷贝到其他机器上就可以了。

scp  -r  /soft/hadoop root@standByNameNode:/soft/hadoop/             拷贝到备份节点,root用户的/soft/hadoop目录下

scp  -r  /soft/hadoop root@152dataNode:/soft/hadoop/ 

scp  -r  /soft/hadoop root@153dataNode:/soft/hadoop/ 

scp  -r  /soft/hadoop root@154dataNode:/soft/hadoop/ 

 

11)、将Hadoop的命令执行加入的环境变量中vi /etc/profile

export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

执行source /etc/profile

 

14)、在所有服务器上停止防火墙(Hadoop的通讯有各种)

service iptables stop

----------------------首次部署启动服务---------------------------------

15)、首先启动zookeeper集群。

16)、在hadoopNameNode服务器上执行:hdfs zkfc -formatZK

      目的是注册到zookeeper,实现故障转移。

17)、在每个服务器上都执行,因为HA的haddop的format依赖于journalnode进程:

      hadoop-daemon.sh start journalnode

18)、主nameNode节点下执行,这里是mycluster是在上面的配置文件中配置的。

        hadoop namenode -format mycluster

19)、在主namenode节点启动./sbin/hadoop-daemon.shstart namenode进程

   hadoop-daemon.sh start namenode
20)、在备nameNode节点执行第一行命令,这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!

   然后用第二个命令启动备namenode进程!
   hdfs namenode -bootstrapStandby
   hadoop-daemon.sh start namenode
21)、在两个namenode节点都执行以下命令(先执行的节点就成为了active状态的nameNode,另一个为standBy)
   hadoop-daemon.sh start zkfc
22)、在所有datanode节点都执行以下命令启动datanode
  hadoop-daemon.sh start datanode

   如果启动的时候报错:java.io.IOException: Incompatible clusterIDs in,此时只需要清空datanode机器上/tmp/hadoop/下的所有目录,然后重建,并chmod 777 * 就可以了。

   如果还是不行,首先清空所有dataNode机器上/tmp/hadoop/下的所有目录,然后重建,并chmod 777 *,然后重复从第15步开始执行。

 

23)、通过访问主备NameNode节点,可以查看Hadoop服务器的运行状况。

http://hadoopNameNode(IP):50070/dfshealth.jsp

http://standByNameNode(IP):50070/dfshealth.jsp

----------------------日常启动停止服务(非首次)---------------------------------

24)、在主nameNode服务器上启动停止hadoop服务,可把standBynameNode及dataNode服务器上的所有进程全部启动。

         启动命令:start-dfs.sh    可通过JPS命令查看运行的java进程。

                在主nameNode下的进程为:DFSZKFailoverController、NameNode、JournalNode

                standByNameNode下的进程为:DFSZKFailoverController、NameNode、JournalNode

                各DataNode下的进程为DataNode、JournalNode

         停止命令:stop-dfs.sh

25)、有时执行命令hadoop fs -ls /目录,会报错:

15/04/07 00:24:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Operation category READ is not supported in state standby

此时需要重复执行(19-21步)

------------------测试Hadoop的nameNode的HA功能---------------------------------

在主nameNode机器上执行命令 jps

15644 NameNode
3221 QuorumPeerMain
16034 Jps
15477 JournalNode
15806 DFSZKFailoverController

然后执行kill -9 15644。

此时可从备nameNode的网页端http://standByNameNode(IP):50070/dfshealth.jsp看到已经被转换成active状态的nameNode节点。

如果在原先的主nameNode上重启hadoop-daemon.sh start namenode,可以看到其状态为备节点。

反复操作,可以看到nameNode主备自动切换。

 

25)、其他命令:

        关闭dataNode节点:hadoop-daemon.sh stop datanode

        

参考文章: http://www.21ops.com/front-tech/10744.html

扩展阅读:在本文中使用了一个主nameNode一个备nameNode,通常来说面对数以百万计的文件是可行,(一百万个文件的元数据信息占用主nameNode大概300M的内存,一千万占用3G,一个亿占用30G),因此随着文件的增长,需要通过HDFS Federation实现HDFS的多NameNode.

 

HDFS Federation是指HDFS集群可同时存在多个NameNode,这些NameNode分别管理一部分数据,且共享所有DataNode的存储资源。这种设计可解决单NameNode存在的以下几个问题:

(1)HDFS集群扩展性。多个NameNode分管一部分目录,使得一个集群可以扩展到更多节点,不再像1.0中那样由于内存的限制制约文件存储数目。

(2)性能更高效。多个NameNode管理不同的数据,且同时对外提供服务,将为用户提供更高的读写吞吐率。

(3)良好的隔离性。用户可根据需要将不同业务数据交由不同NameNode管理,这样不同业务之间影响很小。

需要注意的,HDFS Federation并不能解决单点故障问题,也就是说,每个NameNode都存在在单点故障问题,你需要为每个namenode部署一个backup namenode以应对NameNode挂掉对业务产生的影响。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值