Hadoop HA高可用集群搭建手册

最新推荐文章于 2024-07-25 21:52:39 发布

斐波那契的大鹅

最新推荐文章于 2024-07-25 21:52:39 发布

阅读量118

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_41403382/article/details/111364983

版权

架构图如下

服务	node01	node02	node03	备注
IP	192.168.47.110	192.168.47.120	192.168.47.130	服务器IP地址
JDK	〇	〇	〇	Java环境
QuorumPeerMain	〇	〇	〇	Zookeeper进程
DFSZKFailoverController	〇	〇		容灾控制器
JournalNode	〇	〇	〇	用于两个NameNode之间通信，共享数据
NameNode	〇	〇		HDFS主节点
DataNode	〇	〇	〇	HDFS从节点
ResourceManager		〇	〇	YARN主节点
NodeManager	〇	〇	〇	YARN从节点

软件版本

JDK：jdk_1.8.0_141
Zookeeper：zookeeper-3.4.5-cdh5.14.0
Hadoop：hadoop-2.6.0-cdh5.14.0

Hadoop集群搭建

JDK和Zookeeper的搭建此处不再赘述

环境搭建所用目录

mkdir -p /export/software #安装包文件夹
mkdir -p /export/servers  #软件安装文件夹
mkdir -p /export/data     #软件的数据文件夹
mkdir -p /export/data/HadoopData/JournalFile     #JournalNode数据存放路径
mkdir -p /export/data/HadoopData/NameNodeFile    #NameNode文件存放路径
mkdir -p /export/data/HadoopData/EditsFile       #edits文件存放路径
mkdir -p /export/data/HadoopData/DataNodeFile    #DataNode文件存放路径
mkdir -p /export/data/HadoopData/JobTrackerFile  #JobTracker文件存放路径
mkdir -p /export/data/HadoopData/MapReduceFile   #MapReduce中间数据文件存放路径
mkdir -p /export/data/HadoopData/NodeManagerFile #NodeManager文件存放路径

上传Hadoop并解压至/servers目录下

tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C ../servers/

配置Hadoop

配置文件在/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录

修改 hadoop-env.sh

vim hadoop-env.sh
# 添加jdk环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_141

修改 core-site.xml

<configuration>
    <!-- 集群名称在这里指定！该值来自于hdfs-site.xml中的配置 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns</value>
    </property>
    <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/data/HadoopData</value>
    </property>

    <!-- ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node01:2181,node02:2181,node03:2181</value>
    </property>
    <!-- 开启hdfs垃圾箱机制，指定垃圾箱中的文件七天之后就彻底删掉，单位为分钟-->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>

</configuration>

修改 hdfs-site.xml

<configuration>
    <!--  指定命名空间  -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
    </property>
    <!--  指定该命名空间下的两个机器作为我们的NameNode  -->
    <property>
        <name>dfs.ha.namenodes.ns</name>
        <value>nn1,nn2</value>
    </property>
    <!-- 配置第一台服务器的namenode通信地址  -->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn1</name>
        <value>node01:8020</value>
    </property>
    <!--  配置第二台服务器的namenode通信地址  -->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>node02:8020</value>
    </property>
    <!-- 所有从节点之间相互通信端口地址 -->
    <property>
        <name>dfs.namenode.servicerpc-address.ns.nn1</name>
        <value>node01:8022</value>
    </property>
    <!-- 所有从节点之间相互通信端口地址 -->
    <property>
        <name>dfs.namenode.servicerpc-address.ns.nn2</name>
        <value>node02:8022</value>
    </property>
    <!-- 第一台服务器namenode的web访问地址  -->
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>node01:50070</value>
    </property>
    <!-- 第二台服务器namenode的web访问地址  -->
    <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>node02:50070</value>
    </property>
    <!-- journalNode的访问地址，注意这个地址一定要配置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node01:8485;node02:8485;node03:8485/ns1</value>
    </property>
    <!--  指定故障自动恢复使用的哪个java类 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 故障转移使用的哪种通信机制 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <!-- 指定通信使用的公钥  -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <!-- JournalNode数据存放地址  -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/export/data/HadoopData/JournalData</value>
    </property>
    <!-- 启用自动故障恢复功能 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- NameNode产生的文件存放路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///export/data/HadoopData/NameNodeFile</value>
    </property>
    <!-- edits产生的文件存放路径 -->
    <property>
        <name>dfs.namenode.edits.dir</name>
        <value>file:///export/data/HadoopData/EditsFile</value>
    </property>
    <!-- DataNode文件存放路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///export/data/HadoopData/DataNodeFile</value>
    </property>
    <!-- 关闭hdfs的文件权限 -->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <!-- 指定block文件块的大小 -->
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

修改 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml  # 先改个名

<configuration>
    <!--指定运行mapreduce的环境是yarn -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- MapReduce JobHistory Server IPC host:port -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node03:10020</value>
    </property>
    <!-- MapReduce JobHistory Server Web UI host:port -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node03:19888</value>
    </property>
    <!-- The directory where MapReduce stores control files.默认 ${hadoop.tmp.dir}/mapred/system -->
    <property>
        <name>mapreduce.jobtracker.system.dir</name>
        <value>/export/data/HadoopData/JobTrackerFile</value>
    </property>
    <!-- The amount of memory to request from the scheduler for each map task. 默认 1024-->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>mapreduce.task.io.sort.mb</name>
        <value>100</value>
    </property>
    <property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>10</value>
    </property>
    <!-- 默认的并行传输量由reduce在copy(shuffle)阶段。默认值5-->
    <property>
        <name>mapreduce.reduce.shuffle.parallelcopies</name>
        <value>25</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-Xmx1024m</value>
    </property>
    <!-- MR AppMaster所需的内存总量。默认值1536-->
    <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>1536</value>
    </property>
    <!-- MapReduce存储中间数据文件的本地目录。目录不存在则被忽略。默认值${hadoop.tmp.dir}/mapred/local-->
    <property>
        <name>mapreduce.cluster.local.dir</name>
        <value>/export/data/HadoopData/MapReduceFile</value>
    </property>
</configuration>

修改 yarn-site.xml

<configuration>
<!-- 启用日志聚合功能，应用程序完成后，收集各个节点的日志到一起便于查看 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!--开启resource manager HA,默认为false--> 
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!-- 集群的Id，使用该值确保RM不会做为其它集群的active -->
	<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>mycluster</value>
	</property>
	<!--配置resource manager  命名-->
	<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
	</property>
	<!-- 配置第一台机器的resourceManager -->
	<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node03</value>
	</property>
	<!-- 配置第二台机器的resourceManager -->
	<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node02</value>
	</property>
	<!-- 配置第一台机器的resourceManager通信地址 -->
	<property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>node03:8032</value>
	</property>
	<property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>node03:8030</value>
	</property>
	<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>node03:8031</value>
	</property>
	<property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>node03:8033</value>
	</property>
	<property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>node03:8088</value>
	</property>
	<!-- 配置第二台机器的resourceManager通信地址 -->
	<property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>node02:8032</value>
	</property>
	<property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>node02:8030</value>
	</property>
	<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>node02:8031</value>
	</property>
	<property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>node02:8033</value>
	</property>
	<property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>node02:8088</value>
	</property>
	<!--开启resourcemanager自动恢复功能-->
	<property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
	</property>
	<!--在第一台上配置rm1,在第二台上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项-->
	<property>       
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm1</value>
       <description>If we want to launch more than one RM in single node, we need this configuration</description>
	</property>
	   <!--用于持久存储的类。尝试开启-->
	<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node02:2181,node03:2181,node01:2181</value>
        <description>For multiple zk services, separate them with comma</description>
	</property>
	<!--开启resourcemanager故障自动切换，指定机器--> 
	<property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>
	</property>
	<property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
	</property>
	<!-- 允许分配给一个任务最大的CPU核数，默认是8 -->
	<property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
	</property>
	<!-- 每个节点可用内存,单位MB -->
	<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>512</value>
	</property>
	<!-- 单个任务可申请最少内存，默认1024MB -->
	<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
	</property>
	<!-- 单个任务可申请最大内存，默认8192MB -->
	<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>512</value>
	</property>
	<!--多长时间聚合删除一次日志 此处-->
	<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
	</property>
	<!--时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->
	<property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
	</property>
	<!--指定文件压缩类型用于压缩汇总日志-->
	<property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
	</property>
	<!-- nodemanager本地文件存储目录-->
	<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/export/data/HadoopData/NodeManagerFile</value>
	</property>
	<!-- resourceManager  保存最大的任务完成个数 -->
	<property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
	</property>
	<!-- 逗号隔开的服务列表，列表名称应该只包含a-zA-Z0-9_,不能以数字开始-->
	<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
	</property>
	<!--rm失联后重新链接的时间--> 
	<property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
	</property>
</configuration>

修改slaves文件

vim slaves
node01
node02
node03

分发Hadoop到其他服务器

scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/ node02:$PWD
scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/ node03:$PWD

修改Hadoop环境变量

# Hadoop
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改node02节点的yarn配置文件

<!--在第一台上配置rm1,在第二台上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项-->
<property>
	<name>yarn.resourcemanager.ha.id</name>
   	<value>rm2</value>
    <description>If we want to launch more than one RM in single node, we need this configuration</description>
</property>

启动HDFS

node01执行以下命令

格式化Zookeeper

hdfs zkfc -formatZK

启动三台节点的journalnode

hadoop-daemons.sh start journalnode

格式化NameNode（必须先开启journalnode）

hdfs namenode -format

将所有journal node的元文件的VERSION文件的参数修改成与namenode的元数据相同

hdfs namenode -initializeSharedEdits -force

启动HDFS

start-dfs.sh

node02执行以下命令

hdfs namenode -bootstrapStandby
hadoop-daemon.sh start namenode

启动Yarn

node03和node02都执行以下命令

start-yarn.sh

查看NameNode节点状态

node01上面执行
hdfs haadmin -getServiceState nn1
或在node02上面执行
hdfs haadmin -getServiceState nn2

查看ResourceManager节点状态

node01上面执行
yarn rmadmin -getServiceState rm1
或在node02上面执行
yarn rmadmin -getServiceState rm2

node03启动JobHistory

mr-jobhistory-daemon.sh start historyserver

主要页面访问地址如下

http://node01:50070
#NameNode 'node01:8020' (active)
http://node02:50070
#NameNode 'node02:8020' (standby)
http://node03:8088
#ResourceManager
http://node03:19888/jobhistory
#MR历史任务

至此Hadoop HA集群搭建完毕，如有错误还请指出，互相学习共同进步。

斐波那契的大鹅

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Hadoop HA高可用集群搭建手册

Hadoop HA高可用集群搭建手册架构图如下软件版本Hadoop集群搭建环境搭建所用目录上传Hadoop并解压至/servers目录下配置Hadoop修改 hadoop-env.sh修改 core-site.xml修改 hdfs-site.xml修改 mapred-site.xml修改 yarn-site.xml修改slaves文件分发Hadoop到其他服务器修改Hadoop环境变量架构图如下服务node01node02node03备注IP192.168.47.11019
复制链接

扫一扫