Hadoop完全分布式搭建

已于 2022-07-09 15:22:13 修改
阅读量625 收藏 2
点赞数
文章标签： hadoop 分布式 大数据 hdfs mapreduce
于 2022-06-25 16:13:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45942827/article/details/125428739
版权

完全分布式运行模式
1）准备 3 台客户机（关闭防火墙、静态 ip、主机名称）
2）安装 JDK
3）配置环境变量
4）安装 Hadoop
5）配置环境变量
6）文件拷贝
7）配置 ssh
8）配置集群
9）群起集群
== 前五步参考博客==
https://blog.csdn.net/weixin_45942827/article/details/125402841

把slave2上的JDK、Hadoop及环境拷贝到slave3和slave4中

scp -r /opt/module root@slave3:/opt
scp -r /opt/module root@slave4:/opt

sudo scp /etc/profile root@slave3:/etc/profile
sudo scp /etc/profile root@slave4:/etc/profile
知识点扩充 编写集群分发脚本 xsync

1、scp（secure copy）安全拷贝
（1）scp 定义：
scp 可以实现服务器与服务器之间的数据拷贝。
（2）基本语法

scp   -r     $pdir/$fname     $user@slave$host : $pdir/$fname
#命令 递归 要拷贝的文件路径/名称  目的用户@主机      : 目的路径/名称

（3）案例实操
（a）在 slave2 上，将 slave2中/opt/module 目录下的软件拷贝到 slave3上。

scp -r /opt/module root@slave3:/opt

在这里插入图片描述
在这里插入图片描述
（b）在 slave3上，将 slave2服务器上的/opt/module 目录下的软件拷贝到
slave3上。

sudo scp -r root@slave2:/opt/module root@slave3:/opt

（c）在 slave3上操作将 slave2中/opt/module 目录下的软件拷贝到
slave4上。

 scp -r root@slave2:/opt/module root@slave4:/opt

（d）将 slave2中/etc/profile 文件拷贝到 slave3的/etc/profile 上。

sudo scp /etc/profile root@slave3:/etc/profile

（e）将 slave2 中/etc/profile 文件拷贝到 slave4的/etc/profile 上。

sudo scp /etc/profile root@slave4:/etc/profile

== 注意：拷贝过来的配置文件别忘了 source 一下/etc/profile。 ==
2、 rsync 远程同步工具
rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。
（1）基本语法

rsync  -rvl    $pdir/$fname        $user@slave$host : $pdir/$fname
命令  选项参数  要拷贝的文件路径/名称  目的用户@主机      : 目的路径/名称

（2）案例实操
（a）把 slave2机器上的/opt/software 目录同步到 slave2服务器的 root 用户下的/opt/software目录

 rsync -rvl /opt/software/ root@slave3:/opt/software

在这里插入图片描述
在这里插入图片描述
3、xsync 集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）脚本实现
说明：在/root/bin 这个目录下存放的脚本，root用户可以在系统任何地方直接执行。
atguigu
（a）在/root/ 目录下创建 bin 目录，并在 bin 目录下 xsync 创建文件，文件内容如下：

mkdir bin
cd bin/
touch xsync
vim xsync

在该文件中编写如下代码

#!/bin/bash

#1. 获取输入参数个数，如果没有参数，直接退出
if [ $# -lt 1 ]
then 
	echo Not Enough Arguement!
	exit;
fi

#2. 遍历集群所有机器
for host in slave2 slave3 slave4
do
	echo ==================== $host ====================
	#3. 遍历所有目录，挨个发送
	
	for file in $@
	do
		#4. 判断文件是否存在
		if [ -e $file ]
			then 	
				#5. 获取父目录
				pdir=$(cd -P $(dirname $file); pwd)
				
				#6. 获取当前文件名称
				fname=$(basename $file)
				ssh $host "mkdir -p $pdir"
				rsync -av $pdir/$fname $host:$pdir
			else
				echo $file does not exists!
		fi
	done
done

在这里插入图片描述

（b）修改脚本 xsync 具有执行权限

 chmod 777 xsync

（c）调用脚本形式：xsync 文件名称

xsync /root/bin

在这里插入图片描述
在这里插入图片描述

SSH 无密登录配置

1、 配置 ssh
（1）基本语法
ssh 另一台电脑的 ip 地址
（2）ssh 连接时出现 Host key verification failed 的解决方法

ssh slave3

如果出现如下内容

Are you sure you want to continue connecting (yes/no)?

解决方案如下：直接输入 yes
（3）退回到slave2

exit

在这里插入图片描述

2、 无密钥配置

（1）生成公钥和私钥：

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
在这里插入图片描述

（2）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id slave2
ssh-copy-id slave3
ssh-copy-id slave4

在这里插入图片描述
在这里插入图片描述
== 还需要在 slave3、slave4配置一下无密登录，步骤相同 ==

集群配置

1、 集群部署规划

slave2slave3slave4
HDFSNameNode 、DataNodeSecondaryNameNode、DataNodeDataNode
YARNNodeManager、ResourceManagerNodeManagerNodeManager

2、 配置集群
（1）核心配置文件
配置 core-site.xml

cd /opt/module/hadoop-2.7.2/etc/hadoop   #先进入此目录
vim core-site.xml

在 之间添加配置内容，内容如下：

<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
 <value>hdfs://slave2:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data</value>
</property>

在这里插入图片描述

（2）HDFS 配置文件
配置 hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144  #在文件末尾加入

在这里插入图片描述

配置 hdfs-site.xml

vim hdfs-site.xml

在 之间添加配置内容，内容如下：

<!-- 设置SNN进程运行机器位置信息 -->
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>slave3:9868</value>
</property>
<!-- 配置namenode的元数据存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<!-- 配置datanode的元数据存储目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>

在这里插入图片描述

（3）YARN 配置文件

配置 yarn-site.xml

vim yarn-site.xml

在 之间添加配置内容，内容如下：

<!-- Reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave2</value>
</property>

在这里插入图片描述

（4）MapReduce 配置文件

配置 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml     #复制文件到本目录并改名
vim mapred-site.xml

在 之间添加配置内容，内容如下：

<!-- 指定 MR 运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

在这里插入图片描述

3．在集群上分发配置好的 Hadoop 配置文件

rsync -rvl /opt/module/hadoop-2.7.2/etc/hadoop/slaves root@slave3:/opt/module/hadoop-2.7.2/etc/hadoop/slaves
rsync -rvl /opt/module/hadoop-2.7.2/etc/hadoop/slaves root@slave4:/opt/module/hadoop-2.7.2/etc/hadoop/slaves

4．查看文件分发情况（分别在slave3和slave4上运行）

 cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

群起集群

1.、配置 slaves

cd /opt/module/hadoop-2.7.2/etc/hadoop
vim slaves

在该文件中增加如下内容：

slave2
slave3
slave4

注意：该文件中自带的localhost要删除，添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

rsync -rvl /opt/module/hadoop-2.7.2/etc/hadoop/ root@slave3:/opt/module/hadoop-2.7.2/etc/hadoop/
rsync -rvl /opt/module/hadoop-2.7.2/etc/hadoop/ root@slave4:/opt/module/hadoop-2.7.2/etc/hadoop/

2.、启动集群
（1）如果集群是第一次启动，需要格式化 NameNode（注意格式化之前，一定要先停
止上次启动的所有 namenode 和 datanode 进程，然后再删除 data 和 log 数据）

cd /opt/module/hadoop-2.7.2   #先进入Hadoop的根目录
hdfs namenode -format

在这里插入图片描述

（2）启动 HDFS

#slave2中输入
sbin/start-dfs.sh

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

（3）启动 YARN

#slave2中输入
sbin/start-yarn.sh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3、Web 端查看HDFS的NameNode
（1）、浏览器中输入：http://slave2:50070/status.html

在这里插入图片描述
4、Web 端查看YARN的ResourceManager
浏览器中输入：http://slave2:8088
在这里插入图片描述

山乀
关注
hadoop 完全分布式搭建
08-07
Hadoop 完全分布式搭建 Hadoop 是一个基于 Java 的开源框架，主要用于处理大数据。Hadoop 完全分布式搭建是指在多台服务器上部署 Hadoop，形成一个分布式集群，以便更好地处理大数据。 知识点1：Hadoop 集群架构 ...
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4932
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
【Hadoop】集群搭建实战：超详细保姆级教程
最新发布
博客虽小，世界尽在其中
09-04 5333
本文深入探讨了Hadoop集群的搭建过程，从理论基础到实战操作，为读者提供了一站式的指南。文章首先概述了Hadoop作为大数据处理框架的重要性，并简要介绍了其分布式存储（HDFS）和分布式计算（MapReduce）两大核心组件。随后，详细阐述了Hadoop集群搭建前的准备工作，包括环境规划、硬件选型、软件版本选择以及网络配置等关键步骤。 在搭建过程中，文章以实战为导向，逐步讲解了Hadoop集群的安装与配置，包括JDK环境配置、Hadoop安装包的下载与解压、配置文件（如core-site.xml、hdf
Hadoop详细集群搭建
RomanyK的博客
03-16 1万+
Hadoop详细安装 环境：在虚拟机上，或者租一个服务器（用学生证可以认证白嫖喔，阿里云服务器等）
Hadoop集群搭建
qq_41537880的博客
03-09 1952
hadoop自学搭建，实战记录
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 4万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
hadoop完全分布式搭建.docx
09-09
Hadoop 完全分布式搭建指南 Hadoop 完全分布式搭建是指在多台服务器上安装和配置 Hadoop 组件，以实现大规模数据处理和存储的需求。以下是 Hadoop 完全分布式搭建的详细指南： 一、实验环境准备 在开始 Hadoop ...
hadoop完全分布式搭建.pdf
10-22
在搭建Hadoop完全分布式环境时，我们需要关注一系列配置和组件，这些内容对于理解Hadoop的运作至关重要。Hadoop是一个开源的分布式计算框架，主要由HDFS（Hadoop Distributed File System）和MapReduce两大部分组成...
Hadoop完全分布式搭建.doc
10-03
《Hadoop完全分布式搭建详解》 Hadoop完全分布式搭建是一项重要的技术实践，旨在构建一个高可用、高扩展的分布式数据处理环境。本文将详细介绍如何在Linux系统上搭建一个由三个节点组成的Hadoop完全分布式集群。 ...
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3773
Hadoop集群搭建详细教程
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 4625
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)，2024年最新阿里P7大牛整理
2301_79772893的博客
05-12 3623
搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03。在hadoop01上执行。
搭建hadoop集群
qq_44715376的博客
05-24 4454
搭建hadoop集群
Hadoop集群的搭建（全网最详细，看了就会）
m0_74343117的博客
08-24 4518
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成，详细内容可以参考我的这篇文章。Hadoop安装包链接：https://pan.baidu.com/s/12R1q8ygEnosP9pVbX5rvxg提取码：LZZY。
Hadoop集群的搭建，巨详细的过程,一步步来必成
weixin_68251022的博客
06-02 7358
查看/etc/sysconfig/network-scripts/ifcfg-ens33配置文件的内容。不同于Windows系统采用菜单方式修改网络配置，Linux系统的网络配置参数是写在配置文件里的，ifcfg-ens33是CentOS 7.8版本的Linux系统中的网络配置文件，可以设置IP地址、子网掩码等网络配置信息。
hadoop完全分布式搭建（最通俗易懂）
T_Terryy的博客
01-04 1万+
关于hadoop完全分布式的搭建，一学就懂
hadoop完全分布式搭建
05-28
好的，下面是 Hadoop 完全分布式搭建的步骤： 1. 安装 Java Hadoop 运行需要 Java 环境，可以安装 Oracle JDK 或 OpenJDK。 2. 下载 Hadoop 从官网下载 Hadoop 最新版本的二进制压缩包，解压到指定目录。 3. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值