Hadoop分布式文件存储系统HDFS高可用HA搭建

最新推荐文章于 2024-03-10 02:35:42 发布

egegerhn

最新推荐文章于 2024-03-10 02:35:42 发布

阅读量416

点赞数

分类专栏： java 文章标签： hadoop hdfs 分布式开发语言 spring

本文链接：https://blog.csdn.net/egegerhn/article/details/126665696

版权

java 专栏收录该内容

306 篇文章 14 订阅

订阅专栏

一、准备5台机器:

1台NameNode，处于active状态。
1台NameNode，处于standBy状态，如果主NameNode挂了，自动切换到standBy机器，属于Hdoop的HA。可以由很多台处于standBy状态的NameNode，一般一台就够了。同一时刻，只能有一台处于active状态的NameNode 。
另外3台是DataNode。

二、修改主机名称，用于hadoop机器间的通讯。
1)、修改DNS解析，vi /etc/hosts
192.168.62.156 hadoopNameNode
192.168.62.155 standByNameNode
192.168.62.152 152dataNode
192.168.62.153 153dataNode
192.168.62.154 154dataNode
2)、同时对127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4中的localhost.localdomain 也分别改名字为hadoopNameNode standByNameNode 152dataNode 153dataNode 154dataNode
此命令后，机器之间可以通过ping 153dataNode的方式，直接ping 192.168.62.153
3)、分别修改主机名称：vi /etc/sysconfig/network
修改HOSTNAME=hadoopNameNode
修改HOSTNAME=standByNameNode
修改HOSTNAME=152dataNode
修改HOSTNAME=153dataNode
修改HOSTNAME=154dataNode

三、安装了JDK，，另需要安装ssh。执行 ssh命令如果显示说明SSH已经安装成功。
usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec]
[-D [bind_address:]port] [-e escape_char] [-F configfile]
[-I pkcs11] [-i identity_file]
[-L [bind_address:]port:host:hostport]
[-l login_name] [-m mac_spec] [-O ctl_cmd] [-o option] [-p port]
[-R [bind_address:]port:host:hostport] [-S ctl_path]
[-W host:port] [-w local_tun[:remote_tun]]
[user@]hostname [command]

四、配置SSH 免密码登陆(每一台服务器上都要执行)
1）、在每一台服务器上执行：
ssh-keygen -t rsa 之后一路回车（产生秘钥，会自动产生一个.ssh文件
位于：./root/.ssh下。

2)、cd /root/.ssh
执行: cp id_rsa.pub authorized_keys
此时执行ssh localhost或ssh IP，无需输入密码就能登录。

上面实际上是生成了公钥和私钥，每台服务器要将自己的公钥发给其他所有机器。

3)、将每台服务器的id_rsa.pub文件（公钥）发送给其他机器（一般先输入yes，再输入密码才会发送过去）
1)、在hadoopNameNode服务器上执行：
scp /root/.ssh/id_rsa.pub standByNameNode:/root/.ssh/hadoopNameNode.pub
scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/hadoopNameNode.pub
scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/hadoopNameNode.pub
scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/hadoopNameNode.pub

2)、在standByNameNode服务器上执行：

scp /root/.ssh/id_rsa.pub hadoopNameNode:/root/.ssh/standByNameNode.pub
scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/standByNameNode.pub
scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/standByNameNode.pub
scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/standByNameNode.pub

3)、在152dataNode服务器上执行：

scp /root/.ssh/id_rsa.pubhadoopNameNode:/root/.ssh/152dataNode.pub
scp /root/.ssh/id_rsa.pub standByNameNode:/root/.ssh/152dataNode.pub
scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/152dataNode.pub
scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/152dataNode.pub

4)、在153dataNode服务器上执行：

scp /root/.ssh/id_rsa.pubhadoopNameNode:/root/.ssh/153dataNode.pub
scp /root/.ssh/id_rsa.pubstandByNameNode:/root/.ssh/153dataNode.pub
scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/153dataNode.pub
scp /root/.ssh/id_rsa.pub 154dataNode:/root/.ssh/153dataNode.pub

5)、在154dataNode服务器上执行：

scp /root/.ssh/id_rsa.pubhadoopNameNode:/root/.ssh/154dataNode.pub
scp /root/.ssh/id_rsa.pubstandByNameNode:/root/.ssh/154dataNode.pub
scp /root/.ssh/id_rsa.pub 152dataNode:/root/.ssh/154dataNode.pub
scp /root/.ssh/id_rsa.pub 153dataNode:/root/.ssh/154dataNode.pub

4.在每台机器上执行公钥都追加到授权文件里

1)、在hadoopNameNode服务器上执行：
cat /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
2)、在standByNameNode服务器上执行：
cat /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
3)、在152dataNode服务器上执行：
cat /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
4)、在153dataNode服务器上执行：
cat /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/154dataNode.pub >> /root/.ssh/authorized_keys
5)、在154dataNode服务器上执行：
cat /root/.ssh/hadoopNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/standByNameNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/152dataNode.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/153dataNode.pub >> /root/.ssh/authorized_keys

5）、验证ssh是否免密码成功 152dataNode hostname
152dataNode

6)、搭建Zookeeper集群，参考我的其他文章

目前在这3台机器上搭建了zookeeper集群

192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181

7）、在每一台机器上建立如下目录：

1)在操作系统下建立级联文件夹

mkdir -p /tmp/hadoop/name

mkdir -p /tmp/hadoop/data

mkdir -p /tmp/hadoop/journal

mkdir -p /tmp/hadoop/tmp

2)、赋予权限

chmod777/tmp/hadoop/name

chmod 777/tmp/hadoop/data

chmod777/tmp/hadoop/journal

chmod777/tmp/hadoop/tmp

chmod 777 haddop安装目录下/bin

chmod 777 haddop安装目录下/sbin

8)、haddop的配置(文件的配置在haddop安装目录下的/etc/haddop目录下，只需要再其中一台hadoop机器上配置，其他的拷贝就可以了，共涉及修改7个配置文件)

cd /soft/hadoop/etc/hadoop

1）、修改%hadoop%所在目录下/etc/目录下的hadoop-env.sh(vi /soft/hadoop/etc/hadoop/hadoop-env.sh)

export JAVA_HOME=/usr/java/jdk1.7.0_67

export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

2)、修改vi yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_67

3)、配置slaves,vislaves，将数据节点dataNode保存到改文件。

152dataNode
153dataNode
154dataNode

4)、配置vi core-site.xml

<configuration>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
 </property>
  <property>
	<name>fs.default.name</name>
	<value>hdfs://hadoopNameNode:9000</value>
	</property>
   <property>
     <name>io.file.buffer.size</name>
     <value>131072</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/tmp/hadoop/tmp</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.hosts</name>
     <value>*</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.groups</name>
     <value>*</value>
  </property>
   <property>
     <name>ha.zookeeper.quorum</name>
     <value>192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181</value>
  </property>
  <property>
     <name>ha.zookeeper.session-timeout.ms</name>
     <value>1000</value>
  </property>
</configuration>

mycluster是自己取的一个名字，后面的一些配置文件中需要使用到这个名字。

5)、配置vi hdfs-site.xml

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/tmp/hadoop/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/tmp/hadoop/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoopNameNode:9000</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>standByNameNode:9000</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoopNameNode:50070</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>standByNameNode:50070</value>
	</property>
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoopNameNode:8485;standByNameNode:8485;192.168.62.152:8485/mycluster</value>
	</property>
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.Hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!--  <property>
		<name>dfs.namenode.servicerpc-address.hadoopNameNode.hadoopNameNode
		</name>
		<value>hadoopNameNode:53310</value>
	</property>
	<property>
		<name>dfs.namenode.servicerpc-address.hadoopNameNode.standByNameNode
		</name>
		<value>standByNameNode:53310</value>
	</property>-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/tmp/hadoop/journal</value>
	</property>
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
		<value>60000</value>
	</property>
	<property>
		<name>ipc.client.connect.timeout</name>
		<value>60000</value>
	</property>
	<property>
		<name>dfs.image.transfer.bandwidthPerSec</name>
		<value>4194304</value>
	</property>
</configuration>

dfs.namenode.shared.edits.dir配置了2台NameNode，并配置了一台DataNode进去，否则启动会告警不建议偶数台配置。

n1,n2也是自己取的名字。

6)、配置vi mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

7)、vi yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.connect.retry-interval.ms</name>
		<value>2000</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm1</value>
	</property>
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
		</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk.state-store.address</name>
		<value>192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181</value>
	</property>
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>192.168.62.153:2181,192.168.62.154:2181,192.168.62.155:2181</value>
	</property>
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms
		</name>
		<value>5000</value>
	</property>
	<!-- RM1 configs -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>hadoopNameNode:23140</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm1</name>
		<value>hadoopNameNode:23130</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoopNameNode:23188</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>hadoopNameNode:23125</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address.rm1</name>
		<value>hadoopNameNode:23141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.admin.address.rm1</name>
		<value>hadoopNameNode:23142</value>
	</property>
	<!-- RM2 configs -->
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>standByNameNode:23140</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>standByNameNode:23130</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>standByNameNode:23188</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>standByNameNode:23125</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address.rm2</name>
		<value>standByNameNode:23141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.admin.address.rm2</name>
		<value>standByNameNode:23142</value>
	</property>
	<!-- Node Manager Configs -->
	<property>
		<description>Address where the localizer IPC is.</description>
		<name>yarn.nodemanager.localizer.address</name>
		<value>0.0.0.0:23344</value>
	</property>
	<property>
		<description>NM Webapp address.</description>
		<name>yarn.nodemanager.webapp.address</name>
		<value>0.0.0.0:23999</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/tmp/pseudo-dist/yarn/local</value>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>
		<value>/tmp/pseudo-dist/yarn/log</value>
	</property>
	<property>
		<name>mapreduce.shuffle.port</name>
		<value>23080</value>
	</property>
</configuration>

yarn.resourcemanager.zk.state-store.address配的是zookeeper集群的地址。

10)、在一台机器上完成配置后，只要把整个安装包拷贝到其他机器上就可以了。

scp -r /soft/hadoop root@standByNameNode:/soft/hadoop/ 拷贝到备份节点，root用户的/soft/hadoop目录下

scp -r /soft/hadoop root@152dataNode:/soft/hadoop/

scp -r /soft/hadoop root@153dataNode:/soft/hadoop/

scp -r /soft/hadoop root@154dataNode:/soft/hadoop/

11)、将Hadoop的命令执行加入的环境变量中vi /etc/profile

export HADOOP_HOME=/soft/hadoop
export PATH= $P A T H :$ HADOOP_HOME/bin

export PATH= $P A T H :$ HADOOP_HOME/sbin

执行source /etc/profile

14)、在所有服务器上停止防火墙(Hadoop的通讯有各种)

service iptables stop

----------------------首次部署启动服务---------------------------------

15）、首先启动zookeeper集群。

16)、在hadoopNameNode服务器上执行：hdfs zkfc -formatZK

目的是注册到zookeeper，实现故障转移。

17)、在每个服务器上都执行，因为HA的haddop的format依赖于journalnode进程：

hadoop-daemon.sh start journalnode

18)、主nameNode节点下执行，这里是mycluster是在上面的配置文件中配置的。

hadoop namenode -format mycluster

19)、在主namenode节点启动./sbin/hadoop-daemon.shstart namenode进程

hadoop-daemon.sh start namenode
20)、在备nameNode节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！

然后用第二个命令启动备namenode进程！
hdfs namenode -bootstrapStandby
hadoop-daemon.sh start namenode
21)、在两个namenode节点都执行以下命令（先执行的节点就成为了active状态的nameNode，另一个为standBy）
hadoop-daemon.sh start zkfc
22)、在所有datanode节点都执行以下命令启动datanode
hadoop-daemon.sh start datanode

如果启动的时候报错：java.io.IOException: Incompatible clusterIDs in，此时只需要清空datanode机器上/tmp/hadoop/下的所有目录，然后重建，并chmod 777 * 就可以了。

如果还是不行，首先清空所有dataNode机器上/tmp/hadoop/下的所有目录，然后重建，并chmod 777 *，然后重复从第15步开始执行。

23)、通过访问主备NameNode节点，可以查看Hadoop服务器的运行状况。

http://hadoopNameNode(IP):50070/dfshealth.jsp

http://standByNameNode(IP):50070/dfshealth.jsp

----------------------日常启动停止服务(非首次)---------------------------------

24)、在主nameNode服务器上启动停止hadoop服务，可把standBynameNode及dataNode服务器上的所有进程全部启动。

启动命令：start-dfs.sh 可通过JPS命令查看运行的java进程。

在主nameNode下的进程为:DFSZKFailoverController、NameNode、JournalNode

standByNameNode下的进程为：DFSZKFailoverController、NameNode、JournalNode

各DataNode下的进程为DataNode、JournalNode

停止命令：stop-dfs.sh

25)、有时执行命令hadoop fs -ls /目录，会报错：

15/04/07 00:24:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
ls: Operation category READ is not supported in state standby

此时需要重复执行（19-21步）

------------------测试Hadoop的nameNode的HA功能---------------------------------

在主nameNode机器上执行命令 jps

15644 NameNode
3221 QuorumPeerMain
16034 Jps
15477 JournalNode
15806 DFSZKFailoverController

然后执行kill -915644。

此时可从备nameNode的网页端http://standByNameNode(IP):50070/dfshealth.jsp看到已经被转换成active状态的nameNode节点。

如果在原先的主nameNode上重启hadoop-daemon.sh start namenode，可以看到其状态为备节点。

反复操作，可以看到nameNode主备自动切换。

25)、其他命令：

关闭dataNode节点：hadoop-daemon.sh stop datanode

参考文章： http://www.21ops.com/front-tech/10744.html

扩展阅读：在本文中使用了一个主nameNode一个备nameNode，通常来说面对数以百万计的文件是可行，（一百万个文件的元数据信息占用主nameNode大概300M的内存，一千万占用3G，一个亿占用30G），因此随着文件的增长，需要通过HDFS Federation实现HDFS的多NameNode.

HDFS Federation是指HDFS集群可同时存在多个NameNode，这些NameNode分别管理一部分数据，且共享所有DataNode的存储资源。这种设计可解决单NameNode存在的以下几个问题：

（1）HDFS集群扩展性。多个NameNode分管一部分目录，使得一个集群可以扩展到更多节点，不再像1.0中那样由于内存的限制制约文件存储数目。

（2）性能更高效。多个NameNode管理不同的数据，且同时对外提供服务，将为用户提供更高的读写吞吐率。

（3）良好的隔离性。用户可根据需要将不同业务数据交由不同NameNode管理，这样不同业务之间影响很小。

需要注意的，HDFS Federation并不能解决单点故障问题，也就是说，每个NameNode都存在在单点故障问题，你需要为每个namenode部署一个backup namenode以应对NameNode挂掉对业务产生的影响。

egegerhn

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Hadoop分布式文件存储系统HDFS高可用HA搭建

可以由很多台处于standBy状态的NameNode，一般一台就够了。------------------测试Hadoop的nameNode的HA功能-------------------------------------------------------日常启动停止服务(非首次)-------------------------------------------------------首次部署启动服务---------------------------------
复制链接

扫一扫