Hadoop3：集群搭建及常用命令与shell脚本整理（入门篇，从零开始搭建）

已于 2024-05-01 20:15:39 修改
阅读量1.1k 收藏 11
点赞数 15
分类专栏： Hadoop 文章标签： hadoop
于 2024-04-29 21:16:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Brave_heart4pzj/article/details/138314373
版权

一、集群环境说明

1、用VMware安装3台Centos7.9虚拟机
2、虚拟机配置：2C，2G内存，50G存储
3、集群架构设计
从表格中，可以看出，Hadoop集群，主要有2个模块服务，一个是HDFS服务，一个是YARN服务
在这里插入图片描述

二、搭建集群

1、安装3台Centos7.9虚拟机

安装教程：VMware安装Centos7详细教程及初始化配置

1.1、修改三台主机名

三台虚拟机固定IP：192.168.31.102、192.168.31.103、192.168.31.104
三台主机的hostname分别修改为，hadoop102，hadoop103，hadoop104

vim /etc/hostname

在这里插入图片描述

1.2、配置三台主机hosts文件

vim /etc/hosts

192.168.31.100	hadoop100
192.168.31.101	hadoop101
192.168.31.102	hadoop102
192.168.31.103	hadoop103
192.168.31.104	hadoop104
192.168.31.105	hadoop105
192.168.31.106	hadoop106
192.168.31.107	hadoop107
192.168.31.108	hadoop108

在这里插入图片描述

1.3、三台机器创建账号

创建atguigu账号，并设置密码为123456

useradd atguigu
echo 123456|passwd --stdin atguigu;

配置atguigu账号root权限

visudo

末尾添加
atguigu    ALL=(ALL)       NOPASSWD:ALL

1.4、三台机器间配置atguigu账号免密登陆

用102配置到103免密登陆为例

cd							进入当前账号家目录
ssh-keygen					连续三次回车		
ssh-copy-id 192.168.31.103	复制公钥到hadoop103服务器，这样，102的atguigu就可以免密登陆hadoop103服务器

参考：服务器间配置免密登陆

1.5、同步集群时间（针对内网环境的集群，公网集群可以跳过）

找一个机器，作为时间服务器，所有的机器与这台机器的时间进行定时的同步
在这里插入图片描述

1.5.1、root账号配置102机器的ntp服务

1、查看ntp服务，并设置开机自启动

systemctl status ntpd
systemctl start ntpd
systemctl enable ntpd

如果命令报 Unit ntpd.service could not be found，则需要安装ntp服务

rpm -q ntp	查看服务是否安装
yum install ntp	安装服务

2、修改ntp.conf文件

vim /etc/ntp.conf

server 127.127.1.0
fudge 127.127.1.0 stratum 10

restrict 后面的IP，写你们自己的IP，我的是192.168.31.0网段的
在这里插入图片描述

当该节点丢失网络连接，依然可以采 本地时间作为时间服务器，为集群中的其他节点提供时间同步
在这里插入图片描述
3、修改/etc/sysconfig/ntpd文件
作用：让硬件时间和系统时间一起同步，这样更精确

vim /etc/sysconfig/ntpd

SYNC_HWCLOCK=yes

4、重启ntp服务

systemctl status ntpd
systemctl stop ntpd
systemctl start ntpd
systemctl enable ntpd

检查配置
systemctl status ntpd
systemctl is-enabled ntpd
1.5.2、root账号配置103及104机器，同步102的时间

1、关闭ntp服务

systemctl stop ntpd
systemctl disable ntpd

2、创建定时任务，定时同步102时间

crontab -e

*/1 * * * * /usr/sbin/ntpdate hadoop102

3、测试同步功能
修改时间

date -s "2021-9-11 11:11:11"

1分钟后，查看时间

date

在这里插入图片描述

2、三台虚拟机都安装JDK，并配置环境变量

2.1、卸载系统自带的OpenJDK

2.1.1、查看openJDK

[root@CFDB2 ~]$ rpm -qa|grep java
tzdata-java-2018e-3.el7.noarch
java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
java-1.7.0-openjdk-headless-1.7.0.181-2.6.14.8.el7_5.x86_64
java-1.7.0-openjdk-1.7.0.181-2.6.14.8.el7_5.x86_64
javapackages-tools-3.4.1-11.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.171-8.b10.el7_5.x86_64

2.1.2、卸载openJDK

rpm -qa | grep -i java | xargs n1 rpm -e --nodeps

2.2、安装JDK8

tar -zxvf jdk-7u79-linux-x64.tar.gz -C /usr/local/jdks/
cd /usr/local/jdks/

vim /etc/profile.d/java.sh

#!/bin/bash
#
export JAVA_HOME=/usr/local/jdks/jdk1.8.0_211
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
--------------------------
source /etc/profile  #执行该命令
java -version  #查看java是否安装成功

3、三台虚拟机都安装Hadoop3，并配置环境变量

1、准备Hadoop3安装包
在这里插入图片描述2、三台机器上准备两个目录
在这里插入图片描述
3、将hadoop3安装包上传到software目录下
在这里插入图片描述
4、解压并配置环境变量
解压安装

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置环境变量

进入目录
 cd /etc/profile.d/
 
 创建文件，并添加如下内容
vim hadoop.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

重新加载环境变量，这样新配置的hadoop环境变量才会生效
source /etc/profile

检查hadoop安装是否成

hadoop version

在这里插入图片描述

4、hadoop的4个自定义配置文件及workers配置

1、准备一个同步文件的脚本

参考：服务器同步文件脚本
这样，在102上配置好后，用该脚本同步到另外两台机器上即可。

2、core-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

完整配置内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop102:8020</value>
  <description>指定 NameNode 的地址</description>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-3.1.3/data</value>
  <description>指定 Hadoop 数据的存储目录</description>
</property>
</configuration>

3、hdfs-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

完整配置内容如下

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<property>
  <name>dfs.namenode.http-address</name>
  <value>hadoop102:9870</value>
  <description>nn web 端访问地址</description>
</property>

<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop104:9868</value>
  <description>2 nn web 端访问地址</description>
</property>
</configuration>

4、mapred-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

完整配置内容如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
	  <name>mapreduce.framework.name</name>
	  <value>yarn</value>
	  <description></description>
	</property>
	
	<property>
	  <name>mapreduce.jobhistory.address</name>
	  <value>hadoop102:10020</value>
	  <description>历史服务器端地址</description>
	</property>
	
	<property>
	  <name>mapreduce.jobhistory.webapp.address</name>
	  <value>hadoop102:19888</value>
	  <description>历史服务器 web 端地址</description>
	</property>
</configuration>

5、yarn-site.xml

vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

完整配置内容如下

<?xml version="1.0"?>
<configuration>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>指定 MR 走 shuffle</description>
  </property>
  
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
    <description>指定 ResourceManager 的地址</description>
  </property> 
  
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    <description>系统环境变量的继承</description>
  </property>
  
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>开启日志聚集功能</description>
  </property>
  
  <property>
    <description>设置日志聚集服务器地址</description>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
  </property>
  
  <property>
    <description>设置日志保留时间为 7 天, -1 表示不保存日志</description>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

</configuration>

6、配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

完整配置内容如下

hadoop102
hadoop103
hadoop104

7、使用xsync同步脚本，将配置文件同步到103、104

cd /opt/module/hadoop-3.1.3/etc/hadoop

xsync core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml workers

5、102上启动HDFS服务

1、第一次启动的准备工作

需要在hadoop102上格式化 NameNode(后面重启hadoop集群，无需这一步操作)

cd /opt/module/hadoop-3.1.3
hdfs namenode -format

在这里插入图片描述

2、启动HDFS服务

cd /opt/module/hadoop-3.1.3
sbin/start-dfs.sh

在这里插入图片描述

3、访问web页

http://hadoop102:9870

在这里插入图片描述

6、103上启动YARN服务

1、启动YARN服务

cd /opt/module/hadoop-3.1.3
sbin/start-yarn.sh

在这里插入图片描述

2、访问web页

http://hadoop103:8088

在这里插入图片描述

7、检查各个集群节点服务

从图中可以看出，和我们设计的集群架构完全匹配
在这里插入图片描述

8、在102上开启YARN的历史任务查询服务

cd /opt/module/hadoop-3.1.3
bin/mapred --daemon start historyserver

在这里插入图片描述

9、集群启动与停止方式总结

1、整体启动或停止HDFS或YARN服务

102上，启动或停止HDFS服务

cd /opt/module/hadoop-3.1.3
sbin/start-dfs.sh
sbin/stop-dfs.sh

103上，启动或停止YARN服务

cd /opt/module/hadoop-3.1.3
sbin/start-yarn.sh
sbin/stop-yarn.sh

2、各个服务组件独立启动或停止

分别启动或停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

分别启动或停止YARN组件

yarn --daemon start/stop resourcemanager/nodemanager

3、编写脚本，一键启动或停止器群并检查服务脚本

1、一键启动或停止脚本

cd /home/atguigu/bin/
vim myhadoop

脚本内容

#!/bin/bash

if [ $# -lt 1 ]
then
	echo "No Args Input..."
	exit ;
fi

case $1 in
"start")
		echo " ================= 启动 hadoop 集群 ==================="  
		
		echo " ----------- 启动 hdfs -------------"
		ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
		echo "------------- 启动 yarn -------------"
		ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
		echo "------------- 启动 historyserver -------------"
		ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
		echo " =================== 关闭 hadoop 集群 ==================="  
		
		echo "------------- 关闭 historyserver -------------"
		ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
		echo "------------- 关闭 yarn -------------"
		ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
		echo "------------- 关闭 hdfs -------------"
		ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)		
		echo "Input Args Error..."
;;
esac

脚本用法

myhadoop start/stop

在这里插入图片描述
2、一键检查服务脚本

cd /home/atguigu/bin/
vim jpsall

脚本内容

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
		echo =============== $host ===============
		ssh $host jps
done

脚本用法

jpsall

在这里插入图片描述

10、简单测试集群功能

1、命令行上传文件及HDFS web端查看

上传小文件

创建文件

mkdir /opt/module/hadoop-3.1.3/wcinput
cd /opt/module/hadoop-3.1.3/wcinput
vim word.txt
ss ss
cls cls
banzhang
bobo
yangge

上传文件

hadoop fs -mkdir /input	创建hdfs目录
hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input	上传文件到input目录

HDFS WEB页查看
这里的input就是-mkdir创建出来的
在这里插入图片描述
这个word.txt就是-put上传的
在这里插入图片描述
第一个下载、第二个查看文件前32K内容、第三个查看文件末尾的32K内容
在这里插入图片描述

上传大文件

上传文件
上传jar包到hdfs根目录

hadoop fs -put /opt/software/hadoop-3.1.3.tar.gz /

HDFS WEB页查看
在这里插入图片描述
在这里插入图片描述

2、HDFS系统中查看上传的文件位置及文件内容

服务器上查看

txt文本文件查看方法
可以直接cat命令查看

cd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-823420375-192.168.31.102-1714395693863/current/finalized/subdir0/subdir0

在这里插入图片描述
jar包文件查看方法

cd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-823420375-192.168.31.102-1714395693863/current/finalized/subdir0/subdir0

cat blk_1073741826 >> tmp.tar.gz
cat blk_1073741827 >> tmp.tar.gz
cat blk_1073741828 >> tmp.tar.gz

tar -zxvf tmp.tar.gz
ll

在这里插入图片描述

3、命令行执行MapReduce任务及YRAN web端查看任务

命令行执行MapReduce任务

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

YRAN web页查看任务
在这里插入图片描述

4、YRAN web页面查看历史任务

在这里插入图片描述在这里插入图片描述在这里插入图片描述

5、YRAN web页查看任务执行的日志

在这里插入图片描述在这里插入图片描述

生产队队长
关注
  • 15
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
hadoop集群中常用shell脚本收集
01-09
感谢我关注的朋友，我亦无他，收集整理的大部分脚本。 群发脚本XSync(xsync) #!/bin/bash #1 获取参数，如果不够直接退出 pcount=$# if ((pcount==0)); then echo 没有输入需要传递的文件或文件夹！！; exit; fi #2 ...
脚本搭建hadoop集群
06-08
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop（格式为*tar.gz） 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6，其他操作系统会有些...
从零开始搭建hadoop集群（二）虚拟机网络和文件配置+虚拟机克隆
ruiqu1650914788的博客
05-25 2015
史上巨详细了，没有跳过—张图。此外，附有镜像文件百度网盘。
hadoop大数据入门篇-shell常用命令（一）
zlh114607851的博客
08-08 250
hadoop大数据入门篇-shell常用命令（一）      linux是大数据开发入门必备掌握知识，今天给大家介绍下linux centos7一些常用的命令                          &nbsp
从零开始搭建hadoop分布式集群环境：（五）hadoop完全分布式集群环境配置
tangxinyu318的博客
07-24 784
hadoop集群安装需要一些准备工作，例如安装Java、ssh、下载hadoop等等，这些在之前的文章里面以及现详细说过了。下面就只剩最后一步，也就是配置hadoop。在这一步的过程中我参考过很多文档，但是大部分文章都写得不是很详细，导致配置完成后出现各种问题，要么是hdfs格式化失败，要么是运行后缺少进程。偶然情况下在about云论坛上看到了pig2写的一系列教程，才真正理解了hadoop集群的
从零开始搭建Hadoop伪分布式集群。
ZBD1202的博客
05-31 205
由于HBase环境一直有问题，一怒之下把Hadoop的环境全部删干净了，重新搭建集群并记录下来，权当复习知识了。 本教程大部分来自尚硅谷的Hadoop教程。 第一部分 虚拟机安装 1.1 在VMware中安装centos7 安装步骤略过，一直默认下去就行。 ping一下百度测试网络。 网络畅通：安装eple-release [root@localhost ~]$ yum install -y epel-release 关闭防火墙以及防火墙开机自启 [root@hadoop100 ~]# sy
从零开始搭建hadoop集群
wx740851326的博客
11-05 651
创作不易，请勿抄袭，转载请注明出处。如有疑问，请加微信 wx15151889890，谢谢。 [本文链接:]https://blog.csdn.net/wx740851326/article/details/https://blog.csdn.net/wx740851326/article/details/83744662 本文主要记叙了如何在centos7.2上搭建cdh平台，使用mysql为元数...
Hadoop01-入门&集群环境搭建
m0_54850467的博客
08-16 169
大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策.处理流程:1:获取数据2:处理数据3:展示结果Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.它主要解决两个问题大数据存储问题： HDFS大数据计算问题：MapReduceHadoop最早起源于Nutch。...
云计算-基于hadoop-2.7.7从0开始搭建
yxn4065的博客
10-18 1503
云计算从零开始搭建Hadoop2.7.7集群,包含本地模式、伪分布模式以及全分布模式的详细配置方法及过程，入门Hadoop，这一篇就够了。
从零自学Hadoop(12)：Hadoop命令中
极客神殿
09-23 642
序　　上一篇，我们对Hadoop命令进行了简略的列举，但是Hadoop命令特多，还有一部分没有列举完，官网基本都是英文的，所以只能拙略的翻译下，妄大家见谅。　　下面，我们就开始对Hadoop命令中进行讲解。 HDFS Commands一：介绍　　所有的HDFS命令通过bin/ HDFS脚本调用。指定参数运行HDFS脚本会打印所有命令的描述。　　用法: hdfs [SHELL_OPTIONS] COM
从零自学Hadoop(11)：Hadoop命令上
极客神殿
09-23 827
序上一篇，我们从发展历程，架构，MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年，2.x的发展已经可以适合很多的应用场景了。前面我们通过Eclipse插件来进行文件的上传，删除等，下面我们熟悉下Hadoop命令，从而更能直接，强力的对Hadoop进行操作。下面，我们就开始对Hadoop命令进行粗略的解析。本文有些地方是自己翻译的，翻译的不好望见谅。本章节内容较多，
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
使用 ssh 命令连接远程服务器。 ssh root@[Your IP Address] 更新软件列表 apt-get update 更新完成。 安装 Docker sudo apt-get install docker.io 当遇到输入是否继续时，输入「Y／y」继续。 安装完成 ...
Hadoop3x平台搭建和常用命令.md
11-01
Hadoop平台的搭建和常用指令3.x
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 ...3.安装zookeeper集群 搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
WPF拖放控件
xunmeng2002的专栏
05-20 183
对拖放相关事件研究后发现，最终只需要在拖动源事件处理程序中调用 DoDragDrop 方法启动拖动操作，然后在拖放目标上，响应Drop事件。除了正常拖动（将Tab页从一个TabControl 拖动到另一个 TabControl 中），考虑将Tab页拖动到窗口之外的情况（浏览器在这种情况下会创建一个新的窗口来显示这个Tab页），我这里采用类似的方式，创建一个预设的子窗口来显示该Tab页面。此外，当Tab页面在原TabControl内部拖动时，根据拖动位置，调整Tab页面的顺序。
计算机毕业设计PySpark+Hadoop+Hive机票航班数据分析可视化大屏 机票预测 航班预测系统 机票爬虫 飞机票推荐系统 大数据毕业设计
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-21 158
计算机毕业设计PySpark+Hadoop+Hive机票航班数据分析可视化大屏 机票预测 航班预测系统 机票爬虫 飞机票推荐系统 大数据毕业设计
大数据开发面试题【Hadoop篇】
weixin_53191998的博客
05-20 376
吐血整理 亲身体验的面试题总结
深度优化Hadoop DataNode读写性能
李姓门徒
05-17 928
​ 需要深入研究Hadoop集群的存储节点并做相应的优化，减少新机型带来的性能压力。NameNode的优化可以参考（深度优化Hadoop NameNode读写性能） ​
hadoop集群搭建bash: hadoop: command not found
04-05
这个问题通常是因为Hadoop的二进制文件没有被正确的加入到系统的环境变量中。可以尝试以下步骤解决： 1. 确认Hadoop已经正确安装并且在正确的路径下。 2. 将Hadoop的二进制目录添加到系统的环境变量中。可以在.bashrc或.bash_profile文件中添加以下行： export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin 然后运行以下命令使修改生效： source ~/.bashrc source ~/.bash_profile 3. 确保当前用户的权限足够运行Hadoop命令。可以尝试使用sudo命令来运行Hadoop命令。 如果以上步骤仍然无法解决问题，可以尝试重新安装Hadoop并且确保正确的配置系统环境变量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值