Hadoop完全分布式搭建

已于 2022-05-28 16:22:32 修改
阅读量409 收藏 1
点赞数
分类专栏： 笔记 文章标签： hadoop 分布式 big data zookeeper
于 2022-05-28 16:14:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53452284/article/details/125017370
版权

文章目录

zookeeper-3.4.8压缩包
链接：https://pan.baidu.com/s/1r6hQHVwa1VJCMZl3gCfOHw
提取码：3gau

hadoop-2.7.1压缩包
链接：https://pan.baidu.com/s/1782T4QWw5imR-lHBl_szwg
提取码：bm3d

一、Hadoop完全分布式

hadoop01hadoop02hadoop03
DataNodeDataNodeDataNode
NodeManagerNodeManagerNodeManager
QuorumPeerMainQuorumPeerMainQuorumPeerMain
JournalNodeJournalNodeJournalNode
DFSZKFailoverControllerDFSZKFailoverController
NameNodeNameNode-
ResourceManager-ResourceManager

NameNode：两个节点，一个是active主节点，另一个是standby备用节点
当其中一个节点出了故障，使用zookeeper来切换

hadoop在zookeeper上注册一个进程，ZKFC FailoverController崩溃恢复控制器

JournalNode：负责做节点之间实时备份通讯的。
为了让等待状态的节点保持和活动节点的状态同步，两个节点都需要通过一组的守护程序来通讯，这个守护程序称为journalNodes(JNs-日志节点)。

二、CentOS7安装

网易开源镜像站 清华大学镜像开源站

三、网络配置

进入网络文件配置的目录：
cd /etc/sysconfig/network-scripts/

编辑网络配置文件：
vim ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" #修改为static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="5aw33311-4290-43af-a31a-11w53a0fedsf"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.8.101" #CentOS的ip 自己设置
GATEWAY="192.168.8.1" #网关
DNS1="8.8.8.8"

重启服务
systemctl restart network

四、修改主机名

hostnamectl set-hostname hadoop01

五、克隆hadoop01

克隆hadoop01虚拟机为hadoop02、hadoop03
修改网络配置文件的IPADDR的值为192.168.8.102、192.168.8.103
修改主机名hadoop02、hadoop03

六、集群分发脚本

创建文件xsync 修改xsync文件的权限:chmod 777 xsync
需要配置环境变量或者放入已配置环境变量的文件夹（echo $PATH查看 例:/root/bin）

#!/bin/bash
if [ $# -lt 1 ]
	then 	
		echo Not Enough Arguement!
		exit;
fi
for host in hadoop01 hadoop02 hadoop03
do 
	echo ===============  $host   ================
	for file in $@
	do
		if [ -e $file ]
			then
				pdir=$(cd -P $(dirname $file);pwd)
				fname=$(basename $file)
				ssh $host "mkdir -p $pdir"
				rsync -av $pdir/$fname $host:$pdir
			else
				echo $file does not exists!
		fi
	done
done

七、ip映射配置

配置/etc/hosts文件，将需要搭建集群的主机全部配置到hosts文件中
192.168.8.101 hadoop01
192.168.8.102 hadoop02
192.168.8.103 hadoop03
使用分发脚本xsync分发到其他节点 命令:xsync /etc/hosts

八、免密登录

命令：ssh-keygen -t rsa
生成的公私钥将自动存放在/root/.ssh目录下,把生成的公钥拷贝到其他节点上：
ssh-copy-id root@hadoop01
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03
其他节点重复此步骤

九、安装JDK

mkdir /usr/local/java
上传压缩包到上面的文件夹并解压
tar -zxvf ./jdk-8u311-linux-x64.tar.gz

十、安装Zookeeper

mkdir /usr/local/zookeeper
上传压缩包到上面的文件夹并解压
tar -zxvf ./zookeeper-3.4.8.tar.gz
进入zookeeper的conf目录
拷贝 zoo_sample.cfg文件为zoo.cfg
cp zoo_sample.cfg zoo.cfg
修改zoo.cfg

...
...
# 修改dataDir的路径
dataDir=/usr/local/zookeeper/zookeeper-3.4.8/tmp
...
...
...
# 添加
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

在/usr/local/zookeeper/zookeeper-3.4.8/tmp（配置文件zoo.cfg中dataDir的路径）目录下创建或修改myid文件 将文件内容修改为 1

分发zookeeper到hadoop02、hadoop03
修改hadoop02的tmp/myid文件中的内容为2
修改hadoop03的tmp/myid文件中的内容为3

zookeeper集群启动脚本 创建文件vim /root/bin/zk.sh 修改权限chmod 777 /root/bin/zk.sh

#!/bin/bash
case $1 in 
"start"){
	for i in hadoop01 hadoop02 hadoop03
	do
		echo ------------- zookeeper $i 启动 ----------------------
		ssh $i "source /etc/profile; /usr/local/zookeeper/zookeeper-3.4.8/bin/zkServer.sh start"
	done
}
;;
"stop"){
	for i in hadoop01 hadoop02 hadoop03
	do
		echo ------------- zookeeper $i 停止 ----------------------
		ssh $i "source /etc/profile; /usr/local/zookeeper/zookeeper-3.4.8/bin/zkServer.sh stop"
	done
}
;;
"status"){
	for i in hadoop01 hadoop02 hadoop03
	do
		echo ------------- zookeeper $i 状态 ----------------------
		ssh $i "source /etc/profile; /usr/local/zookeeper/zookeeper-3.4.8/bin/zkServer.sh status"
	done
}
;;
esac

十一、安装Hadoop

mkdir /usr/local/hadoop
上传压缩包到上面的文件夹并解压
tar -zxvf /usr/local/hadoop/hadoop-2.7.1_64bit.tar.gz

十二、修改hadoop配置文件

cd /usr/local/hadoop/hadoop-2.7.1/etc/hadoop

  • hadoop-env.sh
    修改JAVA_HOME的路径，修改成具体的路径
export JAVA_HOME=/usr/local/java/jdk1.8.0_311

修改HADOOP_CONF_DIR的路径，修改为具体的路径

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.1/etc/hadoop
  • core-site.xml
<configuration>
	<!--指定hdfs的nameservice，为整个集群起一个别名-->
	<property>
		<name>fs.defaultFS</name>                
		<value>hdfs://ns</value><!--利用zk进行管理，在zk上注册该节点，名字叫ns-->
	</property>
	<!--指定Hadoop数据临时存放目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop/hadoop-2.7.1/tmp</value>
	</property> 
	<!--指定zookeeper的存放地址，指定zk在哪些主机上-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
	</property> 
</configuration>
  • hdfs-site.xml
<configuration>
	<!--执行hdfs的nameservice为ns，注意要和core-site.xml中的名称保持一致-->
	<property>
		<name>dfs.nameservices</name>
		<value>ns</value>
	</property>
	<!--ns集群下有两个namenode，分别为nn1, nn2-->
	<property>
		<name>dfs.ha.namenodes.ns</name>
		<value>nn1,nn2</value>
	</property>
	<!--nn1的RPC通信-->
	<property>
		<name>dfs.namenode.rpc-address.ns.nn1</name>
		<value>hadoop01:9000</value>
	</property>
	<!--nn1的http通信-->
	<property>
		<name>dfs.namenode.http-address.ns.nn1</name>
		<value>hadoop01:50070</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns.nn2</name>
		<value>hadoop02:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns.nn2</name>
		<value>hadoop02:50070</value>
	</property>
	<!--指定namenode的元数据在JournalNode上存放的位置，这样，namenode2可以从journalnode集群里的指定位置上获取信息，达到热备效果-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/usr/local/hadoop/hadoop-2.7.1/tmp/journal</value>
	</property>
	<!-- 开启NameNode故障时自动切换 ha高可用high availability-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<!-- 使用隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!--配置namenode存放元数据的目录，可以不配置，如果不配置则默认放到hadoop.tmp.dir下-->
	<property>    
		<name>dfs.namenode.name.dir</name>    
		<value>file:///usr/local/hadoop/hadoop-2.7.1/tmp/hdfs/name</value>    
	</property>    
	<!--配置datanode存放元数据的目录，可以不配置，如果不配置则默认放到hadoop.tmp.dir下-->
	<property>    
		<name>dfs.datanode.data.dir</name>    
		<value>file:///usr/local/hadoop/hadoop-2.7.1/tmp/hdfs/data</value>    
	</property>
	<!--配置副本数量-->    
	<property>    
		<name>dfs.replication</name>    
		<value>3</value>    
	</property>   
	<!--设置用户的HDFS操作权限，false表示关闭权限验证，任何用户都可以操作-->                                                                    
	<property>    
		<name>dfs.permissions</name>    
		<value>false</value>    
	</property>
</configuration>
  • mapred-site.xml

拷贝mapred-site.xml.template为mapred-site.xml
编辑mapred-site.xml

<configuation>
	<property>    
		<name>mapreduce.framework.name</name>    
		<value>yarn</value>    
	</property>
</configuation>
  • yarn-site.xml
<configuration>
	<!--配置yarn的高可用-->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!--指定两个resourcemaneger的名称-->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!--配置rm1的主机-->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop01</value>
	</property>
	<!--配置rm2的主机-->
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop03</value>
	</property>
	<!--开启yarn恢复机制-->
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<!--执行rm恢复机制实现类-->
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
		</value>
	</property>
	<!--配置zookeeper的地址-->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
	</property>
	<!--执行yarn集群的别名-->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>ns-yarn</value>
	</property>
	<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
	<property>    
		<name>yarn.nodemanager.aux-services</name>    
		<value>mapreduce_shuffle</value>    
	</property>  
	<!-- 指定resourcemanager地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop03</value>
	</property>
</configuration>
  • slaves

表示从节点，DataNode是哪些节点

hadoop01
hadoop02
hadoop03

十三、hadoop集群分发

将hadoop分发到其他节点
xsync /usr/local/hadoop

十四、环境变量配置

编辑profile文件：vim /etc/profile
添加Java、Hadoop的环境变量:

export JAVA_HOME=/usr/local/java/jdk1.8.0_311
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出，重新生效：source /etc/profile

十五、启动

  • 启动zookeeper:
    zk.sh start (zookeeper集群启动脚本)

  • 让zookeeper管理整个集群，在hadoop01上注册 格式化zookeeper：
    hdfs zkfc -formatZK（sh zkCli.sh，进行查看，其中多了一个hadoop.ha节点）

  • 分别在每台节点上，启动JournalNode：
    hadoop-daemon.sh start journalnode（jps可以看到进程JournalNode）

  • 在hadoop01上格式化NameNode：hadoop namenode -format

  • 在hadoop01上启动NameNode：
    hadoop-daemon.sh start namenode（jps可以看到进程NameNode）

  • 在hadoop02上格式化NameNode：
    hdfs namenode -bootstrapStandby（需要在hadoop01上启动NameNode成功，才可以做hadoop02格式化操作）

  • 在hadoop02上启动NameNode：
    hadoop-daemon.sh start namenode（jps可以看到进程NameNode）

  • 分别在三台节点上启动DataNode：
    hadoop-daemon.sh start datanode （jps可以看到进程DataNode）

  • 在hadoop01和hadoop02上启动zkfc（FailoverController两个NameNode之间的切换管理进程）：hadoop-daemon.sh start zkfc

  • 在hadoop01上启动Yarn：start-yarn.sh

  • 在hadoop03上启动ResourceManager：yarn-daemon.sh start resourcemanager

以上的配置和启动流程，只是第一次需要这样顺序，后期关闭和启动，可直接使用：
stop-all.sh start-all.sh
hadoop01七个进程、hadoop02六个进程、hadoop03五个进程，缺失进程在该节点上再次启动start-all.sh

Echo- 7S
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2024年hadoop平台完全分布式搭建，大数据开发程序员春招三面蚂蚁金服
2401_84166497的博客
05-05 700
1.编辑hosts文件，添加主机名映射内容添加内容：（IP地址填写你自己主机的IP地址）2.生成公钥和私钥然后按四次回车3.复制公钥到其他容器（包括自己）填入yes回车，然后输入root密码即可4.测试是否能免密登录ssh masterssh slave1ssh slave2若回显登录界面，则设置成功（另外两个节点重复以上操作）1.解压jdk安装包到/opt/module中。
史上最简单详细的Hadoop完全分布式集群搭建
热门推荐
Mage的博客
10-31 5万+
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www...
Hadoop集群完全分布式搭建
qq_52884581的博客
09-29 4171
hadoop集群分布式的搭建
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4859
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
hadoop完全分布式集群搭建（超详细）-大数据集群搭建
最新发布
默默发展，无声壮大~
04-01 2010
本次搭建完全分布式集群用到的环境有： jdk1.8.0 hadoop-2.7.7 本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk 密码：553ubk本次完全分布式集群搭建需要提前建立好三台虚拟机，我分别把它们的主机名命名为:master,slave1,slave2一.配置免密登陆 首先我们要实现三台虚拟机之间相互的ssh免密登陆 在master虚拟机上进行操作：1. 创建ssh秘钥，输入如下命令，生成公私密钥，下方三个红框内都按回车键
hadoop 完全分布式搭建
08-07
Hadoop 完全分布式搭建 Hadoop 是一个基于 Java 的开源框架，主要用于处理大数据。Hadoop 完全分布式搭建是指在多台服务器上部署 Hadoop，形成一个分布式集群，以便更好地处理大数据。 知识点1：Hadoop 集群架构 ...
hadoop完全分布式搭建.docx
09-09
Hadoop 完全分布式搭建指南 Hadoop 完全分布式搭建是指在多台服务器上安装和配置 Hadoop 组件，以实现大规模数据处理和存储的需求。以下是 Hadoop 完全分布式搭建的详细指南： 一、实验环境准备 在开始 Hadoop ...
hadoop完全分布式搭建.pdf
10-22
关于hadoop搭建的问题文件
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
Hadoop应用实验：ZooKeeper安装与配置
qq_37828633的博客
05-12 333
================= 1. 安装zookeeper ================= #解压缩，添加环境变量 进入zookeeper/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg ================= 2. 配置zookeeper ===...
超详细从零记录Hadoop2.7.3完全分布式集群部署过程
weixin_34279246的博客
10-27 604
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日） 主机名/hostname IP 角色 hadoop1 192.168.193.131 ...
完全分布式Hadoop集群的安装搭建和配置（4节点）
login_sonata的博客
10-05 1万+
学习参考了给力星的两个节点的hadoop搭建过程，我用VirtualBox开了四个Ubuntu（版本15.10）虚拟机，搭建了四个节点的Hadoop分布式集群，并配置了HA，适合首次搭建的同学参考，节点设计如下： 一、准备工作 在Master节点完成基本工作，包括配置Hadoop用户，安装配置ssh，安装配置java环境，这个阶段给力星同学写得很详细，每一步都有解释。 1、新
Hadoop完全分布式集群搭建
HerculesTU
07-27 314
前言： 公司需要在阿里云服务器上搭建Hadoop集群完成常用数据的存储。现记录下搭建过程以便日后有需要的时候可以用于参考进行快速的部署。 1.集群搭建形式 完全分布式： 真正的分布式，由3个及以上的实体机或者虚拟机组成的机群。一个Hadoop集群环境中，NameNode，SecondaryName和DataNode是需要分配在不同的节点上，也就需要三台服务器。 2.环境 操作系统：windows10、Centos8 机器：服务器3台(master、slave01、slave02)、阿里云或者华为的都可以 J
Linux 环境下搭建Hadoop集群(全分布)
Apache_Jerry的博客
09-20 9142
一、准备工作 1.1 linux 的环境搭建 自己装好Linux 后，开始环境的搭建： 1.打开网卡的配置文件 输入以上指令 进入以后在这里进行网卡的配置，多的东西可以删除，其中IP(IPADDR) 和 网关(GATEWAY)要配好,不知道自己网的 看下面 点开虚拟网络编辑器 看红框部分 再使用如下指令，修改主机名：192.168.41.100 Hadoop 椭圆部分配置的是以后Dat...
hadoop完全分布式搭建
liyan_1013的博客
05-13 363
1、【配置三台机器的主机名】 vim /etc/hostname reboot 2、【在主机器上生成密匙】 ssh-keygen -t rsa 配置三台机器免密登录 ssh-copy-id -i root@localhost ssh-copy-id -i root@机器二 ssh-copy-id -i root@机器三 3、【配置jdk和hadoop】 export JAVA_HOME=/opt/soft/jdk export PATH=$PATH:$JAVA_HOME/bin export HA
Hadoop3.1.0完全分布式集群部署超详细记录
王小雷-多面手
05-09 3万+
Hadoop3.1.0完全分布式集群部署，三台服务器部署结构如下github配置文件源码地址 #部署完成后 root@servera:/opt/hadoop/hadoop-3.1.0# jps 14056 SecondaryNameNode 14633 Jps 13706 NameNode 14317 ResourceManager root@serverb:~# jps 5288 Nod...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值