【Hadoop】——入门：集群搭建

最新推荐文章于 2024-03-22 21:40:34 发布
最新推荐文章于 2024-03-22 21:40:34 发布
阅读量867 收藏 1
点赞数 1
分类专栏： bigdata hadoop 文章标签： hadoop linux hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42000631/article/details/122421246
版权

1. 框架图

在这里插入图片描述
在这里插入图片描述

2. 步骤

<1>准备三台客户机

Hadoop102、Hadoop103、Hadoop104

<2>编写集群分发脚本xsync

scp

定义

安全拷贝，scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

基本语法
scp    -r        $pdir/$fname             $user@$host:$pdir/$fname
命令   递归     要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

操作

在Hadoop102服务器，将Hadoop102的文件发送到Hadoop103
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

rsync

定义

远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

基本语法
rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname
命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

选项参数说明
选项 功能
-a 归档拷贝
-v 显示复制过程

操作

在Hadoop102服务器，将Hadoop102同步到Hadoop103
在这里插入图片描述

xsync脚本

在root根目录下创建bin目录
新建脚本xsync

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

在这里插入图片描述

<3>配置ssh无密码登录

原理

在这里插入图片描述

配置

  1. 进入目录
cd /root
ll -al
cd .ssh
  1. 生成公钥私钥
ssh-keygen -t rsa

在这里插入图片描述
3. 将Hadoop102的公钥发送到Hadoop103、Hadoop104
ssh-copy-id hadoop103
在这里插入图片描述
4. 测试连接

在这里插入图片描述
在这里插入图片描述

<4>配置集群

1. 注意

NameNode和SecondaryNameNode 不要安装在同一台服务器。
ResourceManager也很耗内存，不要和NameNode、SecondaryNameNode配置在同一台服务器上。

2. 规划

在这里插入图片描述

3. 配置文件说明

Hadoop配置文件分两种，默认配置文件和自定义配置文件，只有用户想修改某一个默认配置时，才需要修改自定义配置文件，更改相应属性值

<1>默认配置文件

在这里插入图片描述
在这里插入图片描述

<2>自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上

<3>配置集群
  1. 核心配置 core-site.xml
[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>
  1. HDFS配置文件 hdfs-site.xml
[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>
  1. YARN配置文件 yarn-site.xml
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml


<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>
  1. MapReduce配置文件 mapred-site.xml
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
4. 在集群上分发配置好的Hadoop配置文件
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/
5. 去103和104上查看文件分发情况
[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

<5>群起集群

1. 配置workers

vim /opt/module/hadoop-3.1.3/etc/Hadoop/workers

hadoop102
hadoop103
hadoop104

执行分发脚本

xsync  workers
2. 启动集群
#<1> 初始化

如果第一次启动，需要初始化，需要在hadoop102节点格式化NameNode

hdfs namenode -format
<2>启动hdfs

在配置hdfs的服务器，即hadoop102，执行启动脚本

sbin/start-dfs.sh

http://hadoop102:9870

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

<3> 启动Yarn

在配置yarn的服务器，即hadoop103执行启动脚本

sbin/start-yarn.sh

http://hadoop103:8088
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

<4> 解决一个报错

启动hdfs时候
在这里插入图片描述

在环境变量中添加以下内容在这里插入图片描述

<6>集群测试

测试hdfs
  1. 新建目录
    在这里插入图片描述
  2. 上传文件
    在这里插入图片描述
    在这里插入图片描述
  3. 查看文件所在磁盘位置
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
测试yran
  1. 执行命令
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput
  1. 查看hdfs web 页面结果
    在这里插入图片描述
  2. 查看yarn web页面结果
    在这里插入图片描述

<7>配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。

1.配置mapred-site.xml
vim mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>
2. 分发配置
xsync mapred-site.xml
3. 在hadoop102启动历史服务器
mapred --daemon start historyserver
4. 查看效果

在这里插入图片描述
在这里插入图片描述

<8>配置日志聚集功能

1. 概念

应用运行完成之后，将程序运行日志信息上换到HDFS系统上。
在这里插入图片描述

2. 好处

方便的查看到程序运行详情，方便开发调试

3. 注意

启动日志聚集功能后，需要重新启动NodeManager、ResourceManager和HistoryServer

4. 步骤

<1>配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

<2>分发配置

xsync mapred-site.xml

<3>重启NodeManager、ResourceManager和HistoryServer

关闭历史服务器：mapred --daemon stop historyserver
关闭yarn ：sbin/stop-yarn.sh
启动yarn ：sbin/start-yarn.sh
启动 historyserver ：mapred --daemon start historyserver

<4>删除HDFS上已经存在的输出文件

5. 执行WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput3
6. 查看日志

在这里插入图片描述

<9>集群启动方式总结

1. 各个模块分开启动/停止（配置ssh是前提）
<1>整体启动/停止HDFS系统
start-dfs.sh /stop-dfs.sh
<2>整体启动/停止yarn
start-yarn.sh /stop-yarn.sh
2. 各个服务组件逐一启动/停止
<1>分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
<2>启动/停止YARN
yarn --daemon start/stop  resourcemanager/nodemanager

<10>两个常用脚本

  1. Hadoop集群启动/停止脚本
    包括HDFS、Yarn、HistoryServer
cd /home/root/bin 
vim myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac


chmod +x myhadoop.sh
  1. 查看三台服务器Java程序脚本
cd /home/root/bin 
vim jpsall.sh

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

chmod +x jpsall.sh

<11>常见端口号说明

在这里插入图片描述

<12>集群时间同步设置

1. 说明

如果服务器能连接外网，则不需要时间同步
不能连接外网，则需要时间同步

2. 步骤
<1> ntpd
安装ntpd :      yum -y install ntp
查看ntpd状态:  systemctl status ntpd
启动ntpd:      systemctl start ntpd
开机启动ntpd:  systemctl is-enabled ntpd
<2>修改hadoop102配置文件
vim /etc/ntp.conf
  1. 修改授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间
#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
改为restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
  1. 修改集群在局域网中，不使用其他互联网上的时间
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
改为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
  1. 添加当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步
server 127.127.1.0
fudge 127.127.1.0 stratum 10
  1. 修改hadoop102的/etc/sysconfig/ntpd 文件
vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes
  1. 重新启动ntpd服务
systemctl start ntpd
  1. 设置ntpd服务开机启动
systemctl enable ntpd
<3>其他机器配置（必须root用户）
  1. 关闭所有节点上ntp服务和自启动
[atguigu@hadoop103 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop103 ~]$ sudo systemctl disable ntpd
[atguigu@hadoop104 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop104 ~]$ sudo systemctl disable ntpd
  1. 在其他机器配置1分钟与时间服务器同步一次
[atguigu@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102
  1. 修改任意机器时间
[atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"
  1. 1分钟后查看机器是否与时间服务器同步
[atguigu@hadoop103 ~]$ sudo date
那时的样子_
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1015
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
hadoop3自学入门笔记(2)—— HDFS分布式搭建
01-20
【Hadoop 3自学入门笔记(2)—— HDFS分布式搭建】 在学习Hadoop 3分布式文件系统（HDFS）的搭建过程中，首先要了解Hadoop 2与Hadoop 3的差异，特别是在端口配置方面。Hadoop 3相较于Hadoop 2在安全性、可扩展性和...
hadoop 全分布式配置
来啊 快活啊
12-29 2209
1./etc/profile.d/文件夹下建立hadoop.sh HADOOP_COMMON_HOME=/opt/hadoop HADOOP_HDFS_HOME=/opt/hadoop HADOOP_MAPRED_HOME=/opt/hadoop HADOOP_YARN_HOME=/opt/hadoop HADOOP_CONF_DIR=/opt/hadoop/conf YARN_CO
hadoop环境构建
walk slow down
06-07 348
《Hadoop大数据技术》 实验目的 安装Java环境 搭建Hadoop单机模式 在hadoop伪分布式基础上搭建Hadoop完全分布式模式环境 实验环境 Win10+Centos7(Vmware workstation14)+winscp jdk 环境变量配置 打开一个terminal窗口，切换到管理员命令，关闭网络防火墙，并取消开机自启防火墙。 查找系统自带的openjdk...
Hadoop中HDFS的API操作、客户端环境准备、配置HADOOP_HOME环境变量
Redamancy06的博客
08-15 2925
客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从采用Windows默认用户访问HDFS，会报权限异常错误。所以在访问HDFS时，一定要配置用户。org.apache.hadoop.security.AccessControlException: Permission denied: user=73631, access=WRITE, inode="/xiyou":summer:supergroup:drwxr-xr-x.........
Hadoop HA 集群部署（以三台为例），zookeeper集群管理
youhebuke_f的博客
10-05 2891
Hadoop ha高可用集群部署
大数据技术之Hadoop：HDFS集群安装篇（三）
路漫漫其修远兮，吾将上下而求索
08-03 2755
此为个人学习笔记，包含个人归纳总结以及结合了对网络资源的整理，初衷是为了自己复习巩固。如果能帮到各位是我的荣幸！该总结参考了黑马教程，感兴趣的也可以去观看相关视频。
Hadoop入门手册.chm
10-10
总结来说，"Hadoop入门手册"和Linux下搭建Maven私有库是大数据开发中的基础技能，涉及了分布式计算、项目管理和软件构建等多个方面。通过正确配置和使用这些工具，开发者能够高效地管理和运行Hadoop集群，同时保证...
hadoop-2.6.4.rar
09-04
在本压缩包“hadoop-2.6.4.rar”中，主要...同时，理解Hadoop的基本工作原理和配置选项，将有助于更顺利地搭建和管理Hadoop集群。在实际应用中，还需要根据具体的业务需求来优化配置和调优，以提高集群的性能和稳定性。
Spark入门基础--简介及环境搭建
06-08
**Spark入门基础——简介及环境搭建** Spark是大数据处理领域中的一个重要工具，它以其高效、易用和灵活性著称。本节将深入介绍Spark的基本概念，以及如何在本地或集群环境中进行Spark的安装和配置，为初学者提供一...
hadoop配置
RayMand168的博客
06-16 488
hadoop相关配置
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
Hadoop启动正常，但是进不了Hadoop102：9870
contacts的博客
03-17 1万+
当我们在虚拟机上的Hadoop启动正常，但进不去Hadoop102：9870解决办法！ 例子如下： 但是网页进不去： 第一：首先看自己的hdfs是否改了登录网址 路径为：/opt/module/hadoop-3.1.3/etc/hadoop/hdfs.site.xml 我的地址就是Hadoop102：9870，所以登陆网址是没有问题的。 第二：看自己的hosts文件，是否配置了相关网点，我就是这样的问题。 看看自己的hosts文件里面是否配置了相关的主机名。 配.
Hadoop 分布式集群搭建教程（2023在校生踩坑版）
qq_62928039的博客
10-01 2260
在Hadoop01节点上执行以下命令，启动HDFS和YARN：bug1：如果出现类似报错。
3.Hadoop---集群配置
qq_24223159的博客
09-07 709
无
Hadoop 高可用集群完全分布式安装教程一篇就够用（zookeeper、spark、hbase、mysql、hive)
m0_67821723的博客
12-08 2478
Hadoop 高可用集群完全分布式安装教程（zookeeper、spark、hbase、mysql、hive）
hadoop的9870端口不能访问WEB界面的解决办法汇总
weixin_43498449的博客
06-07 2万+
hadoop的9870端口不能访问WEB界面的解决办法汇总
关于打不开http://hadoop102:9870网页
最新发布
qq_71955060的博客
03-22 809
关于打不开http://hadoop102:9870网页
Hadoop——集群搭建(更新版)(步骤图文超详细版)
Huisoul的博客
10-26 1万+
一、前置条件 需要安装 下载方法 Vmware Workstation 官网下载链接 Centos7系统 百度网盘下载 ， 提取码：t6va jdk1.8 官网下载链接 MobaXterm 百度网盘下载，提取码：f64v hadoop 官网下载链接(最新) 二、安装Centos系统 三、配置Centos系统静态IP（很重要！） 这里我之前的文章写过，这里就不详细讲了，有需要的可以看看我这篇文章：配置教程 注意：不配置的话Centos系统无法连网
Hadoop入门指南：从单机部署到集群搭建
集群搭建** 书中深入讲解了搭建Hadoop集群的过程，包括免密码SSH设置、软件安装（Master和Slave节点的配置）、初始化HDFS和MapReduce环境，以及如何启动、停止集群和进行基本测试。同时，提供了管理界面和命令行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值