CentOS 7.x 环境下, 最详细的 apache hadoop3.2.1 集群的安装 和配置 jobhistory

最新推荐文章于 2022-09-02 16:48:45 发布
最新推荐文章于 2022-09-02 16:48:45 发布
阅读量492 收藏
点赞数
分类专栏： # hadoop 文章标签： hadoop 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hongchenshijie/article/details/108555254
版权

文章目录

1.准备

1. 准备好三台 虚拟机/服务器(小编用的是centos 7.7的镜像 ).
2. 配置好网络
3. 关闭selinux 和 防火墙
4. 更改主机名 hostname  (小编用的是 hadoop01,hadoop02,hadoop03)
5. 同步三台 虚拟机/服务器时间 
6. 配置好ssh 免密登录
7. 安装好jdk1.8的环境

如果上述操作不会可参考博客:
1. Linux CentOS7 创建新的虚拟机
2. Linux CentOS7 网络配置
3. Linux 关闭防火墙 , 配置ssh免密登录
4. Liunx JDK环境配置和安装

2. 下载hadoop 包,并上传到linux (上传到第一个节点)

小编上传的jar到Linux的地址为 /export/soft
安装在 /export/install
配置软链接指定路径为 /export/servers

点击下载apache hadoop3.2.1.tar.gz

3. 进入上传目录并解压(在第一个节点上执行)

# 进入上传目录
cd  /export/soft
# 解压
tar -zxvf hadoop-3.2.1.tar.gz  -C  /export/install
# 进入/export/servers 目录
cd /export/servers
# 建立软链接并重命名
ln -s ../install/hadoop-3.2.1  hadoop

4.配置环境变量 (在第一个节点上执行)

# 进入profile.d 目录
cd /etc/profile.d
# 创建一个 hadoop.sh 文件
vim hadoop.sh
# 添加如下内容,保存退出
export  HADOOP_HOME=/export/servers/hadoop
export  PATH=$PATH:$HADOOP_HOME/bin
export  PATH=$PATH:$HADOOP_HOME/sbin
# 分发到其它节点
scp hadoop.sh root@hadoop02:$PWD
scp hadoop.sh root@hadoop03:$PWD
# 刷新(每个节点都执行)
source /etc/profile
# 测试(如果能进入hadoop 目录说明配置没问题)
cd $HADOOP_HOME

5. 修改core-site.xml 文件(在第一个节点上执行)

  1. 打开core-site.xml 文件
# 进入hadoop配置文件目录
cd $HADOOP_HOME/etc/hadoop
  1. 在configuration标签中 添加以下内容(记得修改为自己的路径和主机名)
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>

6. 修改hdfs-site.xml 文件添加如下内容(在第一个节点上执行)

  1. 打开 hdfs-site.xml
vim  hdfs-site.xml
  1. 在configuration标签中 添加以下内容(记得修改为自己的路径和主机名)
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop/etc/hadoop/deny_host</value>
	</property>
	 -->
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>hadoop01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>

7. 修改hadoop-env.sh 文件(在第一个节点上执行)

  1. 打开hadoop.env.sh 文件
vim hadoop.env.sh
  1. 修改如下内容
    在这里插入图片描述

8. 修改mapred-site.xml 文件(在第一个节点上执行)

  1. 打开vim mapred-site.xml 文件
vim mapred-site.xml
  1. 在configuration标签中 添加以下内容(记得修改为自己的主机名)
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop01:19888</value>
	</property>
	<property>
	    <name>yarn.app.mapreduce.am.env</name>
	    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
 	    <name>mapreduce.map.env</name>
	    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
 	    <name>mapreduce.reduce.env</name>
	    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>

9. 修改yarn-site.xml文件(在第一个节点上执行)

  1. 打开yarn-site.xml 文件
vim yarn-site.xml
  1. 在configuration标签中 添加以下内容(记得修改为自己的主机名)
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

10. 添加工作节点修改 workers文件(在第一个节点上执行)

  1. 打开workers文件
vim workers
  1. 添加需要工作的节点(例如)
hadoop01
hadoop02
hadoop03

11. 创建文件目录(在每个节点上执行)

mkdir -p /export/servers/hadoop/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop/hadoopDatas/dfs/nn/snn/edits

12. 分发hadoop到其它节点(在第一个节点执行)

# 进入安装目录
cd /export/install
# 分发hadoop 到其它节点
scp -r hadoop-3.2.1/ root@hadoop02:$PWD
scp -r hadoop-3.2.1/ root@hadoop03:$PWD
# 去另外两个节点上创建软链接
cd /export/servers
ln -s ../install/hadoop-3.2.1 hadoop

13. 初始化hadoop(在第一个节点执行)

hdfs namenode -format

14. 尝试启动,发现报错

在这里插入图片描述

15. 解决

#进入hadoop脚本目录
cd $HADOOP_HOME/sbin
# 在start-dfs.sh文件最上面添加如下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

# 在stop-dfs.sh 文件最上面添加如下内容
HDFS_DATANODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

# 在start-yarn.sh和stop-yarn.sh 文件中添加
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

# 拷贝到其它节点
scp start-dfs.sh  stop-dfs.sh start-yarn.sh stop-yarn.sh root@hadoop02:$PWD
scp start-dfs.sh  stop-dfs.sh start-yarn.sh stop-yarn.sh root@hadoop03:$PWD

16. 重新启动 发现启动成功

#重启
start-all.sh
#使用jps命令进行检查
jps
  1. 主节点
    在这里插入图片描述
  2. 从节点 hadoop02
    在这里插入图片描述
  3. 从节点 hadoop03
    在这里插入图片描述

17. 测试mapreduce 任务

 hadoop jar /export/servers/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 10 100

18. 一点建议

# 1. 建议把start-all.sh 重命名为 start-all-hadoop.sh (每个节点都执行一下)
cd $HADOOP_HOME/sbin
mv start-all.sh start-all-hadoop.sh
# 2. stop-all.sh 重命名为 stop-all-hadoop.sh
mv stop-all.sh stop-all-hadoop.sh
#原因: 在spark 启动spark集群也是使用start-all.sh 启动,如果配置了spark变量很容造成冲突,最好的解决方法就是重命名

19. 配置jobHistory

  1. 进入配置文件目录
cd $HADOOP_HOME/etc/hadoop
  1. 打开mapred-site.xml 文件
vim mapred-site.xml

添加如下内容(如果您是根据我的博客搭建的集群,请跳过这一步,之前已添加过)

	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop01:19888</value>
	</property>
  1. 打开 yarn-site.xml 文件
vim yarn-site.xml

添加如下内容:

	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<!--指定文件压缩类型用于压缩汇总日志-->
	<property>
	        <name>yarn.nodemanager.log-aggregation.compression-type</name>
	        <value>gz</value>
	</property>
	<!-- nodemanager本地文件存储目录-->
	<property>
	        <name>yarn.nodemanager.local-dirs</name>
	        <value>/export/install/hadoop-2.6.0/yarn/local</value>
	</property>
	<!-- resourceManager  保存最大的任务完成个数 -->
	<property>
	        <name>yarn.resourcemanager.max-completed-applications</name>
	        <value>1000</value>
	</property>
  1. 分发到其它节点
scp mapred-site.xml  yarn-site.xml hadoop02:$PWD
scp mapred-site.xml  yarn-site.xml hadoop03:$PWD
  1. 重启集群
stop-all-hadoop.sh
start-all-hadoop.sh
  1. 启动jobhistory
# hadoop3.0 推荐用此命令启动
mapred --daemon start historyserver
# 访问19888 端口
http://虚拟机ip地址:19888/jobhistory

在这里插入图片描述

20. 最后

  1. 如遇到问题可以在下方留言,共同探讨. 同时如果有不对的地方欢迎大佬指出.
  2. 如果我的博客对你有所帮助,可以的话点个赞，评论一波.
红尘丶世界
关注
专栏目录
Hadoop（二、centos7安装Hadoop-3.2.1集群--超详细）
wise_nut的博客
06-07 849
原文链接 : Hadoop（二、安装Hadoop-3.2.1集群）. 1. 前置条件 准备3台虚拟机，关闭防火墙，修改主机名与ip，互相能ping通，设置ssh免密登录 jdk版本：java version “1.8.0_251” Hadoop版本：hadoop-3.2.1 链接：https://pan.baidu.com/s/1ygVjxxEl3aFIaFwJHwQD9g 提取码：mi8x 参考资料： 链接: VMware虚拟机网络连接的3种方式. 链接: Centos7 修改UUID、IP和主机名.
Hive 3.1.2安装（基于Centos7.x和Hadoop3.2.1）
xiaohu21的博客
08-24 2905
Hive 3.1.2安装（基于Centos7.x和Hadoop3.2.1） 背景 Hadoop大数据套件被应用后，进行数据处理就必须编写mapreduce代码。而相当一部分大数据处理需求都是进行数据的查询操作（实际数据库的操作中，读写操作比例也有80%：20%的说法） Facebook的工程师也遇到这个问题。编写mapreduce对于程序员还是有一定门槛，但是会使用sql的人群更庞大。所以Facebook就发明了Hive，一个把sql语句转换为mapreduce代码的转换器。 不过Hive的使用场景，还是
Centos7+Hadoop 3.2.1集群搭建教程
热门推荐
举个栗子の不容易的博客
06-04 1万+
Hadoop 3.2.1集群搭建教程1. 修改主机名和 IP 地址映射2. 防火墙设置3. 配置host文件4. 设置集群[ssh免密登录](http://csdcb.cn/article/10)5. Hadoop 配置5.1 下载5.2创建相关目录5.3 修改 Hadoop 6个配置文件5.3.1 修改hadoop-env.sh配置文件5.3.2 修改core-site.xml配置文件5.3.3 修改hdfs-site.xml配置文件5.3.4 修改mapred-site.xml配置文件5.3.55.3.
hadoop 3.x 配置历史服务器
weixin_30415801的博客
08-18 277
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 1 <!--history address--> 2 <property> 3 <name>mapreduce.jobhistory.address</name> ...
Apache Hadoop 安装
Alan3344的博客
11-23 1661
一、此文档安装Apache Hadoop-2.7.4 二、上传安装包： 将hadoop-2.7.4-with-centos-6.7.tar.gz 上传到/usr/local 目录下 如图： 三、为了便于文件管理，分别在三台主机上创建文件夹，如下 指令：（注：每个节点均需操作一下指令） # mkdir -p /data/hdfs/name #  mkdir -p /data/hdf...
CentOS7下Hadoop3.2.1的安装与部署（单机模式）
qq_46416934的博客
04-29 1210
安装准备 下载Hadoop安装包 下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common 本例中，我下载的是当前最新的稳定版本 hadoop-3.2.1.tar.gz 。 下载JDK 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 先执行如下命令，查看自己Linux服务器的操作系统位数，下载适用的JDK安装包。 [root@localhost ~]# g
hadoop3.2.1安装（vm版）
leveretz的博客
02-19 903
Hadoop3.2.1分布式高可用安装 1 下载安装包 jdk-8u271-linux-x64.rpm hadoop-3.2.1.tar.gz zookeeper-release-3.6.2.tar.gz 2 主机规划 IP 主机名 用途 系统进程 用户密码 操作系统 CPU 内存 ...
安装篇-Hadoop3.2.1集群安装分享
爱程序，爱生活
08-26 279
1.预备知识 1.1 linux须知 linux微内核的特性，vmware安装linux centos：稳定 linux常操作目录：/bin,/usr,/etc xshell:实用xshell操作centos linux记事本：vi/vim 1.2 常用命令 帮助：man 目录：mkdir，rmdir，mv,ls,rm -rf,cd 文件：touch/vi,cat,cp,rm,more，grep 搜索：which,whereis,find 时间：date ,date -s 用户和组管理：useradd
手把手教你用Centos7安装完全分布式Hadoop3.2.1
pgs1004151212的博客
02-29 1560
一、设置ssh免密码登录 1.确认ssh服务已经安装并打开： 2.打开文件/etc/ssh/sshd_config，确保以下配置已经添加(如果被"#“注释了就把”#"删除，用sudo完成)： AuthorizedKeysFile .ssh/authorized_keys PubkeyAuthentication yes 3、输入ssh-keygen -t rsa，然后一路回车，...
基于CentOS7平台的Hadoop安装及环境搭建全教程.zip
最新发布
03-13
在本教程中，我们将深入探讨如何在 CentOS 7 操作系统上安装和配置 Hadoop，一个广泛用于大数据处理的开源分布式文件系统。Hadoop 是基于 Java 的，它为大规模数据集提供了高效、可靠且可扩展的数据处理能力。在这个...
Hadoop集群搭建的思维导图
11-02
Hadoop在linux中搭建集群的思维导图，和具体操作流程。
电商数仓项目(三) hadoop3.2.2 安装与配置
02-27
电商数仓项目(三) hadoop3.2.2 安装与配置
Hadoop 2.3.0分布式集群搭建图文.doc
03-11
Hadoop 2.3.0分布式集群搭建图文
CentOS7搭建Hadoop3.2.1高可用
weixin_46057712的博客
07-12 300
一、虚拟机环境准备 安装一台虚拟机(oracle virtual box);centos7 安装操作系统:建议把操作系统安装到固态盘(非系统盘) 服务器做一些简单的配置:(关闭防火墙,配置IP,主机名,host文件) 装3台虚拟机从配置好的虚拟机直接克隆（复制） 安装jdk1.8 免密钥配置 **1.下载Oracle VM VirtualBox虚拟机 ** 在360软件管家或腾讯管家的软件管理中直接下载安装，完全免费（不用再去破解VMware） 2.准备下载CentOs7 下载地址 https://de
Apache Hadoop 3.2.0 官方API常规 ：单节点安装
张伯毅的专栏
01-20 6074
Hadoop：设置单节点群集。 目的 先决条件 支持的平台 必备软件 安装软件 下载 准备启动Hadoop集群 独立操作 伪分布式操作 组态 设置passphraseless ssh 执行 YARN在单个节点上 全分布式操作 目的 本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系...
大数据开发一 Hadoop3.2.1 集群搭建与启动
qq_41515513的博客
10-02 6501
目录 1. 简述 2. 集群搭建与启动 2.1基本环境准备与安装选择 2.2 hadoop的配置文件设置 （重点） 2.3 启动 3. 踩坑记录 4. 结语 1. 简述 作为一名后端工程师，一直对大数据开发有浓厚的兴趣。自主学习已半年有余，特此总结Hadoop3.2.1 在虚拟机(centos6.7)环境下的集群搭建启动流程（从无到有），希望能帮到同在踩坑中的读...
hadoop中的Jobhistory历史服务器
weixin_45889100的博客
05-18 1054
1. 启动脚本 mr-jobhistory-daemon.sh start historyserver 2. 配置说明 jobhistory用于查询每个job运行完以后的历史日志信息，是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。 默认的配置如下，但是需要手工修改为我们指定的那台服务器。 <property> <name>mapreduce.jobhistory.address</name> <val
hadoop用vmare虚拟机实现桥接分布式，现实Livenode有4个，但是没有ResourceManager、SecondrryNameNode、JobHistoryServer 这几个 进程。
mark199345的博客
10-28 1005
现实Livenode有4个，但是没有ResourceManager、SecondrryNameNode、JobHistoryServer 这几个 进程。 输入如下两条指令。
hadoop3.x——历史服务器
wake_up_42的博客
09-02 1753
配置历史服务器，及测试历史服务器是否配置成功。
CentOS7环境下Hadoop 2.7.X单机伪分布式安装教程
"本文档详细介绍了在CentOS7系统上安装部署Hadoop 2.7.X，特别是2.7.7版本的过程。首先，需要准备JDK和Hadoop的软件包，然后创建一个新的Hadoop用户，并配置SSH无密码登录。接下来，会涉及到JDK的安装与旧版本的移除...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值