HA高可用集群详细搭建过程及配置文件简介（附带各种组件的安装配置）

最新推荐文章于 2024-09-14 12:02:35 发布

Luffy_captain

最新推荐文章于 2024-09-14 12:02:35 发布

阅读量1.1k

点赞数 1

分类专栏： hadoop框架文章标签： hadoop生态 HA配置 HA搭建 hadoop的项目流程 hadoop各个组件的功能

本文链接：https://blog.csdn.net/qq_30645615/article/details/82904229

版权

本文详细介绍了如何搭建HA高可用集群，包括网络配置、免密配置和Hadoop集群的设置。已成功配置HDFS、MapReduce、YARN、Journal、Zookeeper等组件，并搭建了Hive、Flume、Sqoop、Azkaban等辅助工具。文章还概述了各组件的作用和在项目中的工作流程，为理解Hadoop生态系统提供了基础。

摘要由CSDN通过智能技术生成

配置网络
保证可以ping通外网，关闭防火墙，然后用xshell来操作

//配置的ip、网关等信息
vim /etc/sysconfig/network-scripts/ifcfg-eth0
	//网卡
	DEVICE=eth0
	//是否开机启动
	ONBOOT=yes
	//ip地址
	IPADDR=192.168.0.100
	//子网掩码
	NETMASK=255.255.255.0
	//网关
	GATEWAY=192.168.0.2
	//使用静态的ip形式
	BOOTPROTO=static
//关闭防火墙
	service iptables stop
	//永久性关闭防火墙
	chkconfig iptables off
//dns解析
vim /etc/resolv.conf
	nameserver 114.114.114.114
//映射
vim /etc/hosts
	//追加配置内容
	192.168.0.100 node01
	192.168.0.101 node02
	192.168.0.103 node03
//时间同步
	//下载ntp命令
	yum install -y ntp
	//使用命令来让时间和网络、本地时间同步
	ntpdate -u ntp1.aliyun.com

至此，网络部分的配置就完成了，如果在本地搭建的话，注意要配置vmware的虚拟网络编辑器，保证nat模式网络模式下的网段和子网掩码都和自己配置的一致，否则可能会导致ping不通外网。

2.免密配置
先上传jdk的tar包，将jdk的tar包上传至节点上，这里我们将所有的jar包进行一个目录规划，tar包统一放在/home/tools下，统一解压到/home/bigdata下（解压命令：tar -zxvf tar包名 -C /home/bigdata）。在其他节点我们只需要创建/home/bigdata目录，将在节点1上配置好的直接发送过去即可。

//配置环境变量
vim ~/.bash_profile（~其实就是代表/root/）
	export JAVA_HOME=/home/bigdata/jdk1.8.0_151
	export PATH=$PATH:$JAVA_HOME/bin
//刷新环境变量
source ~/.bash_profile
//测试
	jav使用tab键，如果可以补齐java就说明配置成功
//发送到其他节点
	//在/home/bigdata/下发送
	scp -r jdk1.8.0_151/ node02:`pwd`
	scp -r jdk1.8.0_151/ node03:`pwd`
	//在/root/下发送.bash_profile到其他节点，道理一样，但要记得刷新一下（使用上述命令）
	scp .bash_profile node02:`pwd`
	scp .bash_profile node023:`pwd`
	//刷新环境变量
	source ~/.bash_pfofile
//到/root/.ssh下
cd /root/.ssh
	//生成公钥和私钥
	ssh-keygen
	//直接回车到底
	//使用ll可以看到生成的文件
	//将公钥发送到其他节点上，包括本机，发送时要输入yes，下一步输出密码，密码就是你登录linux的密码
	ssh-copy-id -i id_rsa.pub node01
	ssh-copy-id -i id_rsa.pub node02
	ssh-copy-id -i id_rsa.pub node03
	//因为我们搭建的是HA，所以要在另一个namenode节点（这里是节点2）上也要免秘钥，操作同上
//到节点2的/root/.ssh下
cd /root/.ssh
	//生成公钥和私钥
	ssh-keygen
	//直接回车到底
	//使用ll可以看到生成的文件
	//将公钥发送到其他节点上，包括本机
	ssh-copy-id -i id_rsa.pub node01
	ssh-copy-id -i id_rsa.pub node02
	ssh-copy-id -i id_rsa.pub node03
//测试
ssh node02,（如果root@node01变成了root@node02，即成功，使用exit来回到原来节点）

hadoop集群配置
hadoop的tar包上传至节点的/home/tools下，统一解压到/home/bigdata下，配置hadoop文件。

配置hadoop的环境变量，同java一样
		vim  ~/.bash_profile
		export HADOOP_HOME=/home/bigdata/hadoop-2.8.3
		export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
//配置文件存储目录
 		 cd /home/bigdata/hadoop-2.8.3/etc/hadoop/
 		 配置hadoop-env.sh
 		 	//只需配置JAVA_HOME的路径
 		 	export JAVA_HOME=/home/bigdata/jdk1.8.0_151
 		 配置core-site.xml
 		 	<configuration>
 		 	<!--hadoop的集群入口-->
				<property>
					<name>fs.defaultFS</name>   
					<value>hdfs://hadoopCluster01</value>
			    </property>
				<!--hadoop的工作路径，会自动创建 -->
				 <property>
			        <name>hadoop.tmp.dir</name>   
			        <value>/home/bigdata/hadoop-2.8.3/hadoop2.8.3_metadata</value> 
				</property>
				<!-- zookeeper的端口配置-->
				<property>
			  		<name>ha.zookeeper.quorum</name> 
			   		<value>node01:2181,node02:2181,node03:2181</value>
			 	</property>
			</configuration>
		配置hdfs-site.xml
			<configuration>
				<!--hdfs集群名称：--&