hadoop2.7.2分布式集群搭建(三台)

请叫我裴老板

已于 2023-02-08 16:08:29 修改

阅读量1k

点赞数 1

文章标签：分布式 hadoop linux

于 2022-07-21 16:50:24 首次发布

本文链接：https://blog.csdn.net/PeiBoos/article/details/125914812

版权

本文详细介绍了如何在三台机器上搭建Hadoop2.7.2的分布式集群，包括设置主机名和IP、配置主机映射、SSH免密登录、关闭防火墙和selinux、安装JDK、设置NTP时间同步以及最终的Hadoop分布式安装过程。

摘要由CSDN通过智能技术生成

hadoop2.7.2分布式集群搭建（三台节点）

系统环境搭建

系统环境搭建

1、三台节点设置主机名和IP

    vi /etc/sysconfig/network-scripts/ifcfg-ens33
	ONBOOT=yes
	IPADDR=填自己的IP
	GATEWAY=192.168.2.2
	NETMASK=255.255.255.0
	DNS1=114.114.114.114
	DNS2=8.8.8.8

2、配置主机的映射

    vi /etc/hosts
    加入其余节点映射及名称

在这里插入图片描述

	修改主机名
	hostnamectl set-hostname master151
	使其生效
	exec bash

3、ssh免密登录

    1、产生公钥和私钥：ssh-keygen -t rsa (回车四次)
    2、创建authorized_keys文件，将全部节点密钥放入其中   touch authorized_keys
    3、将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
    4、并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys 
    5、只要在一个节点执行即可，主机器最好也执行以下：
    ssh 192.168.x.xxx cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 
    ssh 192.168.x.xxx cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 
    ssh 192.168.x.xxx cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
    6、分发整合后的文件到其它节点 ：
    scp ~/.ssh/authorized_keys 192.168.x.xxx:~/.ssh/ 
    scp ~/.ssh/authorized_keys 192.168.x.xxx:~/.ssh/ 
	7、测试ssh访问：ssh root@主机名
	ssh 192.168.x.xxx
	ssh 192.168.x.xxx

4、关闭防火墙

    1、关闭防火墙：systemctl stop firewalld
	2、防止开机自启：systemctl disable firewalld
	3、查看状态：firewall-cmd --state

5、关闭seliunx

    1、编辑  vi /etc/selinux/config
	2、将seliunx设置为disabled  SELINUX=disabled
	3、sestatus -v 查看结果：结果为disabled表示为已经关闭

6、安装jdk

    1、在指定目录上传文件
	2、解压 tar -zxvf jdk-8u51-linux-x64.tar.gz
	3、配置环境变量    vi /etc/profile
	export JAVA_HOME=/opt/software/jdk1.8.0_51
	export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
	export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
	4、配置完使其生效
	source /etc/profile
    5、查看jdk版本
	Java -version

7、设置ntp时间同步服务

    1、yum -y install ntp 所有节点下载ntp服务
	2、chkconfig ntpd on 设置开机自启动 
	3、vim /etc/ntp.conf  进入ntp时间同步服务配置文件中
	4、将restrict default kod nomodify notrap nopeer noquery 修改为restrict default nomodify
	5、主节点添加
	restrict 主节点IP mask 255.255.255.0 nomodify notrap
	server 127.127.1.0
	fudge 127.127.1.0 stratum 10
	6、副节点注释所有server并添加：
	restrict 主节点IP nomodify notrap noquery
	server 主节点IP
	7、所有节点设置重新启动
	Service ntpd restart
	8、查看是否同步 ntpq -p

8、安装搭建分布式hadoop

    1、上传并解压安装包
	tar -zxvf hadoop-2.7.2.tar.gz
	2、配置环境变量使其生效
	vim /etc/profile
	export HADOOP_HOME=/opt/software/hadoop-2.7.2
	export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
	配置完成分发到其余节点中，并使其配置文件生效
	scp -r /etc/profile root@slave152:/etc/
	source /etc/profile
	3、配置hadoop的/etc/hadoop中的文件

    在yarn-site.xml中添加
		<configuration>
			<property>
				<name>yarn.resourcemanager.hostname</name>
				<value>master151</value>
			</property>
			<property