Hadoop3.3.1 集群配置笔记

已于 2023-02-22 17:56:26 修改
阅读量2.3k 收藏
点赞数
分类专栏： 基础知识 技术文档 文章标签： hadoop mapreduce hdfs
于 2022-01-28 16:58:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Angellsing/article/details/122733716
版权

集群设置文档

单节点集群

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Fully-Distributed_Operation

全分部式

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html#Purpose

Hadoop组成部分

1.HDFS

2.YARN

3.MapReduce

集群文件分发脚本

echo $PATH

环境变量目录下的脚本可全局访问

赋予执行权限命令: chmod 777 $文件名

#!/bin/bash

#1．判断参数个数
if [ $# -lt 1 ]
then
	echo Not Enough Arguement!
	exit;
fi

#2．遍)历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
	echo ===============$host=====================
	#3．遍历所有目录，挨个发送
	
	for file in $@
	do
		#4．判断文件是否存在
		if [ -e $file ]
		then
		#5．获取父目录
		pdir=$(cd -P $(dirname $file); pwd)
		#6．获取当前文件的名称
		fname=$ (basename $file)
		ssh $host "mkdir -p $pdir"
		rsync -av $pdir/$fname $host:$pdir
		else
			echo $file does not exists!
		fi
	done
done

SHH免密登录配置

原理
在这里插入图片描述

#创建密钥
进入用户目录
cd /home/用户名/.ssh

#生成公钥和私钥
ssh-keygen -t rsa
然后连续三个回车,生成公钥(id_rsa.pub)和私钥(id_rsa)

#给需要无密登录的服务器发送公钥
ssh-copy-id  $服务器地址
输入密码

集群规划

在这里插入图片描述
环境变量

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_271
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

一.HDFS概述

1.NameNode 目录,索引,记录文件块存储位置,存储元数据,文件名,目录结构,属性

2.DataNode 数据具体存放位置,存储文件块数据,和块数据的校验和

3.Secondary NameNode(2NN) NameNode的秘书,辅助NameNode工作,NameNode元数据备份

二.YARN 架构概述(资源管理:CPU,内存等)

1.ResourceManage(RM) 集群资源管理

2.NodeManage(NM) 单节点资源管理

3.ApplicationMaster(AM) 单个任务管理

4.Container:容器,相当于一台独立服务器,里面封装了任务运行所需要的资源,如内存,CPU,磁盘,网络等

在这里插入图片描述

三.集群配置

默认配置文件
在这里插入图片描述

1.核心配置文件

core-size.xml

<configuration>
	<!--nameNode地址-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop102:8020</value>
	</property>
	<!--hadoop数据存储目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-3.3.1/data</value>
	</property>	
	<!--配置HDFS网页登录使用的静态用户,会影响网页上操作文件删除的权限,不配置无删除权限-->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>	
</configuration>

2.hdfs配置文件

hdfs-site.xml

<configuration>
	<!--nameNode web访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop102:9870</value>
	</property>
	<!--2nn web端访问地址-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop104:9868</value>
	</property>	
</configuration>

3.YARN配置文件

yarn-site.xml

<configuration>
	<!--指定MR走shuffle-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!--指定resourceManage地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop103</value>
	</property>	
	<!--环境变量继承,3.2以上的版本不需要 HADOOP_MAPRED_HOME-->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>	
</configuration>

4.MapReduce配置文件

mapred-site.xml

<configuration>
	<!--指定MapReduce 程序运行在yarn上-->
	<property>
		<name>mapreduce.framework.name</name>        	
		<value>yarn</value>
	</property>	
	<property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

四.启动集群

1.格式化NameNoded

hdfs namenode -format
如果集群是第一次启动，需要在 hadoop102节点格式化 NameNode 
注意:格式NameNode，会产生新的集群id，导致NameNode,和 DataNode的集群id不一致，集群找到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停namenode和 datanode进程，并且要删除所有机器的data和 logs目录，然后再进行格式

2.启动停止hdfs

cd /opt/module/hadoop-3.3.1/sbin
#启动
start-hdfs.sh
#停止
stop-hdfs.sh

3.启动停止yarn

注意在配置ResourceManage的节点(hadoop103) 启动yarn
cd /opt/module/hadoop-3.3.1/sbin
#启动
start-yarn.sh
#停止
stop-yarn.sh

五.集群测试

1.上传文件到集群

上传文件

#创建目录 (根目录仓建 input文件夹)
hadoop fs -mkdir /input

#上传文件
hadoop fs -put $文件 $路径
例
hadoop fs -put word.txt /input

word.txt

liwei zhangsan
zhangsan liwei
lisi 
lisi
wangwu

大文件被分片,分片后的文件进行整合

#恢复文件
[root@hadoop102 subdir0]# cat blk_1073741826 >> tmp.tar.gz
[root@hadoop102 subdir0]# cat blk_1073741827 >> tmp.tar.gz

#解压文件
tar -zxvf tmp.tar.gz

2.执行wordcount程序

计算word.txt名字出现的次数

#命令
hadoop jar $执行程序路径 $程序入口名称 $输入路径 $输出路径
例:
hadoop jar /opt/module/hadoop-3.3.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input/word.txt /output

3.配置历史服务器

  1. 1 配置mapred-site.xml
<configuration>
<!--指定MapReduce 程序运行在yarn上-->
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--MapReduce JobHistory 服务器主机：端口(内部通信)-->
   <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
    <!--MapReduce JobHistory UI服务器主机：端口(UI访问)-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
</configuration>

3.2 分发配置文件,并重启yarn,启动服务在102上

$HADOOP_HOME/bin/mapred --daemon start historyserver

4.配置日志聚集

在这里插入图片描述

4.1.配置yarn-site.xml

日志聚集服务器(发现3.3.1版本不用配置也可以)

    <!--开启日志聚集功能-->
	<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!--设置日志聚集服务器(发现3.3.1版本不用配置也可以)-->
   <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!--设置日志保留时间为7天-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

4.2 同步配置文件,重启historyserver和yarn即可

5.常用端口号

在这里插入图片描述

6.集群时间同步

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

7.常用脚本

myhadoop.sh stop/start

#!/bin/bash

if [ $# -lt 1 ]
then
        echo "No Args Input. . ."
        exit ;
fi

case $1 in
"start")
        echo " =============启动集群================"
        echo " ---------—-----启动hdfs —-—-——--——--——-"
        ssh hadoop102 "/opt/module/hadoop-3.3.1/sbin/start-dfs.sh"
        echo "—————----————-—-启动yarn----------------"
        ssh hadoop103 "/opt/module/hadoop-3.3.1/sbin/start-yarn.sh"
        echo " ------—--——----启动historyserver -———-——--------"
        ssh hadoop102 "/opt/module/hadoop-3.3.1/bin/mapred --daemon start historyserver"
;;
"stop")
        echo "=============关闭集群================"

        echo "——-—------—----关闭historyserver ——-—------—----"
        ssh hadoop102 "/opt/module/hadoop-3.3.1/bin/mapred --daemon stop historyserver"
        echo " ---------------关闭yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.3.1/sbin/stop-yarn.sh"
        echo " ---------------关闭HDFS ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.1/sbin/stop-dfs.sh"
;;
*)
        echo " Input Arqs Error. . ."
;;
esac

jpsall.sh

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do 
 echo ============= $host =================
 ssh $host jps
done
Angellsing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-3.2.3集群搭建
3322855165
05-28 1000
准备三台最小化安装的Linux服务器：（单节点伪集群一台虚拟机即可，hdfs配置副本数设置为1，worker只有一个。所有节点推荐最小化安装Centos7.9或Ubuntu2004LTS。(单主机内存需>=4G)1、配置网络连通性，每台机器配置固定IP地址和DNS等网络信息2、主机名hostname设置和主机名解析3、配置时区和时间服务器，确保集群时间同步4、系统优化，关闭不需要的服务并进行文件系统基本优化。
安装配置hadoop3.2集群
Field_Yang的博客
07-19 609
安装配置hadoop3.2集群 1、安装JDK1.8 以下链接下载：http://www.oracle.com/technetwork/java/javase/downloads/ [root@hadoop0 ~]# tar zxfv jdk-8u231-linux-x64.tar.gz [root@hadoop0 local]# ln -sv jdk1.8.0_231 java ‘java’ -> ‘jdk1.8.0_231’ [root@hadoop0 local]# ls -lrdt java
Hadoop之常用端口号
m0_67393828的博客
09-06 1822
HDFS NameNode 对用户的查询端口：9870，经常查看目录信息，如下图，刚刚上传了两个lzo文件。
大数据hadoop常用端口-hadoop 3.x 通信端口
luo981695830的博客
10-20 1401
关于hadoop 2.x的通信端口参考上一篇博客 namenode rpc-address 8020 namenode http-address 9870 namenode https-address 9871 datanode address 9866 datanode http-address 9864 datanode https-address 9865 resourcemanager ht.
HADOOP-基础
诗书易的博客
02-08 262
Hadoop基础
Hadoop 3 端口号的改变及启动Hadoop
oTangBoTu的博客
04-12 2429
Hadoop 3 端口号的改变 分类 应用 Haddop 2.x port Haddop 3 port NNPorts Namenode 8020 9820 NNPorts NN HTTP UI 50070 ...
Hadoop3.x
weixin_43329173的博客
10-18 549
Hadoop 重点内容： 1、重点理解Hadoop的优势（需结合Hadoop的组成） 2、了解Hadoop 三大发行版本 3、熟练掌握Hadoop环境搭建（需回顾Linux\Shell命名） 4、完全分布式运行模式 > xsync 集群分发脚本 > ssh无密登录配置(必须配置，重点记忆) 课上笔记： 1、大数据可以做什么？ 解决海量数据的采集、存储和分析计算问题 （TB、PB、EB） 补充了解： 分布式存储（同一数据源多地存储） 分布式计算（多人共同完成一个计算） 2、大数据特点4v 3
Hodoop3.3.1 集群配置 笔记
01-28
本笔记将详细阐述如何配置 Hadoop 3.3.1 集群，以便高效地管理和运行大数据任务。 **一、系统需求与环境准备** 1. **硬件要求**：为了搭建 Hadoop 集群，需要至少两台或更多的服务器或虚拟机，每台机器应具有足够的...
Hadoop3.3.1分布式集群搭建详细教程
02-24
Hadoop3.3.1分布式集群搭建详细教程，简单零基础一站式搭建
hadoop集群配置笔记
04-04
在hadoop集群配置中边搭边记录的小白，一起学习！
hadoop常用端口
03-15
hadoop常用端口设置详解主要包括三大配置文件的端口设置
hadoop-3.3.1 windows + apache-hadoop-3.1.0-winutils-master.zip
05-08
在这个Windows版的Hadoop 3.3.1包中，包含了为Windows环境优化的配置和组件，使得在Windows平台上运行Hadoop成为可能。 Windows上的Hadoop通常需要一些额外的工具来辅助，其中之一就是winutils。Apache Hadoop ...
Hadoop集群详细配置文档
11-20
### Hadoop集群详细配置文档 #### 一、配置概述与需求 本文档旨在提供一个详细的Hadoop集群配置步骤，帮助用户快速搭建一个由三台虚拟机构成的小型Hadoop集群。集群采用的是Cloudera提供的Hadoop 5.13版本，并且...
Hadoop常见端口号及配置文件
2301_76522810的博客
05-10 1924
3.5 Hadoop 2.x和Hadoop 3.x的区别之处在于：slaves（Hadoop 2.x）/workers（Hadoop 3.x）2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)）3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
disy924的博客
06-27 6506
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
Hadoop3.x入门-搭建3节点分布式集群
小末的博客
02-09 2703
1.前言 本文档适用于Hadoop3.x版本分布式测试集群搭建。 HDFS组件包括：NameNode、DataNode、SecondaryNameNode Yarn组件包括：ResourceManager、NodeManager、JobHistory MapReduce组件包括：JobHistoryServer 2. 集群搭建前提条件 关闭防火墙 确保集群主机节点时间同步（可以安装ntp服务保持集群时间同步） 集群间配好免密，包括免密本地登录（不配置有可能导致namenode和nodeman
Hadoop 常用端口号
代妈炼金术师
01-10 1913
请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。
Hadoop 3.X 和 2.X 的常用端口号和配置文件
hmyqwe的博客
05-26 9981
Hadoop 常用端口号 Hadoop 3.X HDFS NameNode 内部通信端口：8020/9000/9820 HDFS NameNode HTTP UI：9870 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 2.X HDFS NameNode 内部通信端口：8020/9000 HDFS NameNode HTTP UI：50070 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 常用配置文件 Hadoop 3.X
Hadoop 中的大数据技术：调优篇（2）
最新发布
qq_45115959的博客
08-16 1178
HDFS默认情况下，一个文件有3个副本，这虽然提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop 3.x引入了纠删码机制，通过计算方法，可以节省大约50%的存储空间。
如何在CentOS 7上搭建Hadoop 3.3.1集群？
04-28
搭建Hadoop集群的步骤如下： 1. 安装Java 首先需要安装Java，Hadoop需要Java环境才能运行。可以使用以下命令安装Java： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载Hadoop 从官方网站下载Hadoop 3.3.1版本，然后解压到目录中。可以使用以下命令： ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -zxvf hadoop-3.3.1.tar.gz sudo mv hadoop-3.3.1 /usr/local/hadoop ``` 3. 配置Hadoop环境变量 编辑`/etc/profile`文件，添加以下内容： ``` export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin ``` 然后执行以下命令使配置生效： ``` source /etc/profile ``` 4. 配置Hadoop集群 在Hadoop集群中，需要指定一个节点作为NameNode，其他节点作为DataNode。可以在`/usr/local/hadoop/etc/hadoop`目录下找到`core-site.xml`和`hdfs-site.xml`两个配置文件，进行以下修改： 在`core-site.xml`文件中添加以下内容： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> </configuration> ``` 其中，`namenode`是NameNode节点的主机名或IP地址。 在`hdfs-site.xml`文件中添加以下内容： ``` <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` 其中，`dfs.replication`指定了数据备份数量，`dfs.namenode.name.dir`和`dfs.datanode.data.dir`指定了NameNode和DataNode的数据存储路径。 5. 配置YARN YARN是Hadoop的资源管理器，需要进行相应的配置。可以在`/usr/local/hadoop/etc/hadoop`目录下找到`yarn-site.xml`文件，进行以下修改： ``` <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 其中，`yarn.resourcemanager.hostname`指定了ResourceManager节点的主机名或IP地址。 6. 启动Hadoop集群 按照以下顺序启动Hadoop集群： ``` start-dfs.sh start-yarn.sh ``` 7. 验证Hadoop集群 可以通过访问以下网址来验证Hadoop集群是否正常运行： ``` http://namenode:9870/dfshealth.html http://resourcemanager:8088/cluster ``` 其中，`namenode`和`resourcemanager`分别是NameNode和ResourceManager节点的主机名或IP地址。 以上就是在CentOS 7上搭建Hadoop 3.3.1集群的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值