hadoop3.1.3集群配置

最新推荐文章于 2023-09-14 22:32:45 发布
最新推荐文章于 2023-09-14 22:32:45 发布
阅读量1.5k 收藏 11
点赞数 2
分类专栏： Hadoop 文章标签： linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36593748/article/details/121798810
版权

文章目录

hadoop3.1.3集群配置

1、安装软件

最小化安装中一些基本命令不存在，因此需要事先安装。

  1. Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

    yum install -y epel-release

  2. 安装ifconfig

    yum install -y net-tools

  3. 安装vim

    yum install -y vim

  4. 其他工具

    yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

2、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

3、创建hadoop用户

  1. 创建用户并设置密码

    useradd hadoop
passwd hadoop

  2. 配置hadoop用户，使其能够执行root权限的命令

    [root@hadoop102 ~]# vim /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
hadoop   ALL=(ALL)     NOPASSWD:ALL

  3. 创建放置软件和安装软件的目录

    mkdir /opt/software
mkdir /opt/module
#更改所属用户和组
chown atguigu:atguigu /opt/module 
chown atguigu:atguigu /opt/software

4、卸载Linux自带的JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • rpm -qa：查询所安装的所有rpm软件包
  • grep -i：忽略大小写
  • xargs -n1：表示每次只传递一个参数
  • rpm -e –nodeps：强制卸载软件

5、克隆三台虚拟机

修改主机名和hosts映射文件

主机名hosts映射
hadoop102192.168.10.102
hadoop103192.168.10.103
hadoop104192.168.10.104

6、安装jdk、hadoop

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

hadoop目录说明：

  • bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
  • etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
  • lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
  • sbin目录：存放启动或停止Hadoop相关服务的脚本
  • share目录：存放Hadoop的依赖jar包、文档、和官方案例

7、配置环境变量

  1. /etc/profile 文件中修改环境变量 登录用户生效
  2. ~.bashrc /etc/bashrc 文件中修改环境变量 只对非登录式shell用户生效
  3. 配置一个环境变量 或者 永久生效变量
    /etc/profile.d/创建一个以.sh结尾 然后将变量声明在这个文件中
vim /etc/profile.d/my_env.sh

#!/bin/bash
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile或/etc/bashrc都将执行/etc/profile.d/*.sh文件

source /etc/profile.d/my_env.sh

测试：

java -version
hadoop version

8、本地模式测试

案例1：

$ mkdir wcinput
$ cd wcinput
$ vim word.txt
hadoop yarn
hadoop mapreduce

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

案例2：

mkdir input
cp /opt/module/hadoop-3.1.3/etc/hadoop/*.xml input/

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input/ output 'dfs[a-z.]+'

9、完全分布式

9.1配置SSH免密登录

目的：

  1. 使用ssh、scp、rsync等命令执行命令或传输配置文件时需要，避免频繁输入密码
  2. hadoop传输数据过程中，节点间的通讯需要使用；

哪些需要配置？

  • 普通用户hadoop要求每个节点间均免密登录
  • root用户只需要主节点向其他子节点免密登录
#生成公钥和私钥
ssh-keygen -t rsa
#为每个节点分发公钥
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

在这里插入图片描述

~/.ssh/目录下的文件：

文件名解释说明
known_hosts记录ssh访问过计算机的公钥（public key）
id_rsa生成的私钥
id_rsa.pub生成的公钥
authorized_keys存放授权过的无密登录服务器公钥

9.2 集群配置

各节点职责：

hadoop102hadoop103hadoop104
hdfsNameNode、DataNodeDataNodeSecondaryNameNode、DataNode
yarnNodeManagerResourceManager、NodeManagerNodeManager
mapredHistoryServer

配置文件：

defaultsite
/opt/module/hadoop-3.1.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xmlcore-site.xml
/opt/module/hadoop-3.1.3/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhdfs-site.xml
/opt/module/hadoop-3.1.3/share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xmlyarn-site.xml
/opt/module/hadoop-3.1.3/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xmlmapred-site.xml

配置文件修改：

  1. core-site.xml

    设置NameNode地址、存储位置和静态用户；

    静态用户可以使得hadoop102外的其他网页访问这操作hdfs（增删改查），windows当然也可以

    <configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为hadoop -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>

</configuration>

  2. hdfs-site.xml

    设置NameNode和SecondaryNameNode

    <configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>

</configuration>

  3. yarn-site.xml

    设置MR走shuffle、ResourceManager的地址、环境变量的继承、开启日志聚集功能并配置参数

    <configuration>

    <!-- Site specific YARN configuration properties -->
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
	</property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

</configuration>

  4. mapred-site.xml

    设置MapReduce程序运行在Yarn上、指定历史服务器的节点

    <configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
</configuration>

  5. workers

    hadoop102
hadoop103
hadoop104

9.3 分发配置文件至其他节点

同步文件脚本xsync：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

9.4 启动集群

格式化系统：

如果集群是第一次启动，需要在hadoop102节点格式化NameNode。

hdfs namenode -format

注意事项：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

启动hdfs：

start-dfs.sh

启动Yarn：

start-yarn.sh

启动HistoryServer：

mapred --daemon start historyserver

集群的启动/停止的方式

  1. 群起组件 hdfs /yarn/historyserver
    hdfs start/stop-dfs.sh
    yarn start/stop-yarn.sh
    mapred --daemon start/stop historyserver

  2. 按照每个小模块 nn dn 2nn rm nm
    hdfs
    hdfs --daemon start/stop namenode
    hdfs --daemon start/stop datanode
    hdfs --daemon start/stop secondarynamenode
    yarn
    yarn --daemon start/stop resourcemanager
    yarn --daemon start/stop nodemanager
    historyserver
    mapred --daemon start/stop historyserver

myhadoop脚本启停集群：

if [ $# -ne 1 ]
then
    echo 'arg num error only one start/stop'
    exit
fi
case $1 in
"start")
    echo '====================hadoop-start===================='
    echo '====================hdfs-start===================='
    ssh hadoop102 /opt/module/hadoop-3.1.3/sbin/start-dfs.sh
    echo '====================yarn-start===================='
    ssh hadoop103 /opt/module/hadoop-3.1.3/sbin/start-yarn.sh
    echo '====================history-start===================='
    ssh hadoop102 /opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver
;;
"stop")
    echo '====================hadoop-stop===================='
    echo '====================history-stop===================='
    ssh hadoop102 /opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver
    echo '====================yarn-stop===================='
    ssh hadoop103 /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh
    echo '====================hdfs-stop===================='
    ssh hadoop102 /opt/module/hadoop-3.1.3/sbin/stop-dfs.sh
;;
*)
    echo 'arg value error start/stop'
;;
esac

9.5 各节点服务运行状况jps

JPS脚本查看各节点：

#!/bin/bash
for i in hadoop102 hadoop103 hadoop104
do
     echo "===========$i==========="
     ssh $i jps $1 | grep -v Jps
done

10、面试题

  1. hadoop中有哪些比较重要的配置文件
    两种 default site
    core-defaule/site-xml common
    hdfs-defaule/site-xml hdfs
    yarn-defaule/site-xml yarn
    mapred-defaule/site-xml mr
    3.x workers/ 2.x salvers dn nm

  2. hadoop中常用的端口号

    hdfs 通信端 8020 web 9870 3.x /50070 2.x
    yarn 通信端 8032 web 8088
    历史服务器 通信端 10020 web 19888

端口名称Hadoop2.xHadoop3.x
NameNode内部通信端口8020/90008020/9000/9820
NameNode HTTP UI500709870
MapReduce查看执行任务端口80888088
历史服务器通信端口1988819888
MelodyYN
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop3.1.3搭建集群
QYHuiiQ
07-03 949
Index of /dist/hadoop/common/hadoop-3.1.3这里我下载的是3.1.3.tar.gz。节点分配：首先，对于HDFS来说，NameNode和SecondaryNameNode是肯定要放在不同节点上的，其次，对于YARN中的ResourceManager来说，由于它也比较消耗资源，所以也尽量和NameNode/SecondaryNameNode分开放在不同节点上。NameNodeDataNodeNodeManagerResourceManagerDataNodeNodeMan
hadoop3.1.3分布式集群搭建
weixin_47303949的博客
07-31 359
环境准备： jdk1.8 centos6.10 zookeeper3.4.5 三台服务器免密登录配置完成(此处省略步骤) 1、上传Hadoop3.1.3安装包并解压 这里我是安装在/usr/local 这个路径下 解压：tar -zxvf /usr/local/hadoop-3.1.3.tar.gz 2、首先提前创建好需要的文件夹 mkdir -p /usr/local/hadoop/data mkdir -p /usr/local/hadoop/dfs mkdir -p /usr/local/hadoo
集群配置 hadoop-3.1.3 版本
QQ202240702博客
09-22 1492
如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。
hadoop-3.1.3-src.tar.gz
11-06
hadoop-3.1.3-src.tar.gz版本上传预留，方便以后使用有需要的可以下载
Hadoop3.1.3完全分布式安装（Centos7.x）
weixin_52851430的博客
05-04 4762
Hadoop3.x完全分布式安装
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程
m0_50293032的博客
09-18 9069
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程1.环境准备2 jdk1.8安装2.1 卸载虚拟机自带的JDK2.2 安装JDK1.83.在 hadoop102 安装Hadoop集群3.1集群安装准备3.2 安装hadoop3.3 hadoop运行模式3.4 完全分布式运行模式（开发重点）3.4.1 编写集群分发脚本 xsync3.4.2 ssh免密配置3.4.3 集群配置3.4.4 启动集群 在学习的时候，碰到过很多同学，因为安装集群遇到过各种稀奇古怪的问题，导致很多人的兴趣大大降低。并且本人
Hadoop3.1.3 配置文件
01-15
Hadoop3.1.3 配置文件
Hadoop3.1.3.rar
06-02
hadoop3.1.3安装包
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/....1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
hadoop-3.1.3安装包
07-28
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合...
hadoop-3.1.3.tar.gz
12-20
Hadoop是Apache的一款开源框架，使用java语言编写，可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性，其集群能够从单台机器扩展到数千台机器。 Hadoop 采用的是Apache v2协议，Hadoop基于Google发布的MapReduce论文实现，并且应用了函数式编程的思想。
hadoop-3.1.3.tar jdk-8u212-linux-x64.tar 以及hadoop3.1.3配置文件(已修改好)
07-22
hadoop-3.1.3.tar jdk-8u212-linux-x64.tar 以及hadoop3.1.3配置文件(已修改好)
Hadoop3.1.3集群搭建
xxxaaz的博客
04-23 574
Hadoop3.1.3集群搭建1. Hadoop简介2. 机器准备2.1机器硬件配置2.2 虚拟机安装2.3 网络设置2.4 更改主机名称2.5 创建新用户3. 工具及脚本准备3.1 上传jdk和hadoop安装包3.2 配置集群间ssh免密登录4. jdk和hadoop安装（三台机器均需完成）4.1 解压jdk和hadoop安装包4.2 配置java和hadoop的环境变量5. 配置hadoop集群5.1 集群部署规划5.2 修改各组件对应的配置文件5.3 启动集群并测试6. 设置集群历史服务器和日志聚集
Hadoop3.1.3 分布式环境搭建
hai博客
11-03 3525
目录一 引言二 介绍三 安装前的准备工作四 正式开始1 安装java环境2 安装hadoop3 克隆虚拟机4 配置ssh登录权限 一 引言 在这篇文章中，我们将在一个全新的centos7的虚拟机中，我们来安装一个Hadoop的分布式集群。这里推荐大家使用 xshell 去连接虚拟机。 二 介绍 hadoop的安装方式分为以下三种： 单机模式：Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。 伪分布式模式：Hadoop 可以在单节点上以伪
Hadoop集群搭建教程(hadoop-3.1.3手把手教学)超详细！！！
weixin_44168795的博客
06-24 1861
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、集群机器的准备1、关闭防火墙2、配置静态 IP3、主机名称二、配置SSH无密登录1、以192.168.29.151为例2、安装配置jdk和hadoop3、文件复制三、hadoop的集群配置1、集群的配置介绍2、4个xml文件的配置3、配置workers四、启动集群1、NameNode初始化2、启动 HDFS、YARN3、验证是否成功启动4、有可能的出错总结 前言 本文是基于hadoop-3.1.3搭建的集群，集群规模是5台
Hadoop3.1.3之完全分布式模式环境搭建
花&败
06-14 1353
目录一：虚拟机准备1、准备3台虚拟机，静态IP地址，关闭防火墙，设置主机名2、3台虚机的/etc/hosts全部配置IP对应主机名3、OK虚拟机准备完毕二、SSH无密码登录三、在hadoop20服务器上安装JDK和hadoop1、安装JDK（跳过，参考之前的即可）2、安装hadoop 2.1、将下载的安装包上传到/opt/software/目录下，并解压安装文件到/opt/module下面 2.2、将Hadoop添加到环境变量 2.3、 让修改后的文件生效 2.4、测试是否安装成功
Hadoop3.1.3完全分布式安装配置
2301_76741492的博客
06-04 4851
6.三个节点设置静态ip（之前博客有发这里不再进行演示）。同样的方式创建bigdata03节点这里不再进行演示。
Hadoop 完全分布式（3.1.3）部署（清爽版）
weixin_46376562的博客
09-26 1525
清爽版
hadoop3.1.3版本完全分布式集群搭建搭建
最新发布
weixin_74143660的博客
09-14 570
一,使用版本号为即可二,使用版号为三,所有软件均解压在文件目录下四,本次集群搭建需要虚拟机。
hadoop3.1.3下载
09-05
Hadoop是一款广泛应用于大数据处理的开源软件，而Hadoop3.1.3则是其最新的稳定版本。要下载Hadoop3.1.3，用户可以前往官方网站（https://hadoop.apache.org/releases.html#31+February%2CMarch+2019%3A+Hadoop+3.1.3+Available）进行下载。 下载Hadoop3.1.3需要用户系统支持Java8，因此请先确保系统已经安装了Java8，否则需要先进行Java安装操作。 进入Hadoop官方网站后，在Releases页面找到“31 February,March 2019: Hadoop 3.1.3 Available”这行，点击其下载链接即可。下载链接中提供了多种下载方式，包括源代码和二进制文件，用户可以根据自己的需求进行选择。 下载完成后，用户需要进行解压和配置操作。详细步骤可以在Hadoop官网上的文档中找到。在完成配置后，就可以开始使用Hadoop3.1.3进行大数据的处理了。 总之，下载Hadoop3.1.3需要进行几个基本步骤：首先，确保系统支持Java8；然后，在官方网站上找到并下载最新的Hadoop3.1.3版本；最后，进行解压和配置操作，准备开始使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MelodyYN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值