Day02 Hadoop分布式集群搭建步骤

已于 2022-03-11 20:30:21 修改
阅读量3.5k 收藏 1
点赞数
文章标签： hadoop 分布式 linux
于 2022-03-11 20:29:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tgmmmmmmmm/article/details/123433294
版权

Day02 Hadoop分布式集群搭建步骤

文章目录

一、安装jdk和hadoop环境

本文所描述的分布式集群搭建步骤可以使用虚拟机进行同样也可以使用云服务器的方式进行，所以需要有一些准备工作，

  • 虚拟机软件（可以使用VMware Workstation Pro）
  • 同一内网的云服务器（相互可以内部ping通）

以上两个二选一即可。

详细步骤：

  1. 安装centos7.5系统（实际笔者建议安装server版本，节约些内存）

    这个自己选择进行安装，配置好密码。笔者将在文末提供ISO的链接。

  2. 使用root权限登录系统，在根目录下的opt目录中创建两个目录，一个soft，另一个module。Soft目录用于存放压缩文件，module目录用于存放解压后的文件。

    mkdir /opt/soft /opt/module

  3. 上传JDK以及Hadoop的压缩包到/opt/soft（注意：现目前用户是否是root用户）

    如果使用虚拟机并centos为桌面版的话可以直接从windows拖入虚拟机内linux中，如果是云服务器或server版本centos的话可以使用MobaXterm进行ssh连接，该软件自带Sftp功能，可以直接拖入文件到linux中。

  4. 将JDK以及Hadoop解压到module中。

tar -zxvf /opt/soft/jdk-8u121-linux-x64.tar.gz -C /opt/module
tar -zxvf /opt/soft/hadoop-3.1.3.tar.gz -C /opt/module

  1. 配置环境变量，在/etc/profile最后添加以下内容：

    • vim /etc/profile

    • 按字母i

    • 箭头调整光标到最后输入

      JAVA_HOME=/opt/module/jdk1.8.0_121
HADOOP_HOME=/opt/module/hadoop-3.1.3
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME HADOOP_HOME PATH

    • 按ESC后输入wq!保存退出

    •  source /etc/profile

二、配置集群前的准备工作

  1. 创建一个新用户（如果已经存在新用户，该步骤可以省略）

    useradd tgmmmmmmmm（你想要的用户名）
passwd tgmmmmmmmm(为你的用户创建密码)

    image-20220310202718910

  2. 给该用户root权限

    vim /etc/sudoers

    image-20220310203203182

  3. 关闭防火墙

    systemctl stop firewalld	停止防火墙
systemctl disable firewalld	永久禁止防火墙开机自启

  4. 把opt目录下soft目录以及module目录交给普通用户*（我的是tgmmmmmmmm）*

    chown -R tgmmmmmmmm:tgmmmmmmmm /opt/soft /opt/module

  5. 克隆虚拟机，保证至少有三台机器运行

  6. 保证3台机器能够相互通信，也就是需要配置/etc/hosts,在此之前，需要把主机名更改为不同名字，如hadoop101，hadoop102，hadoop103。

    （1）最好配置为静态分配IP，避免因为虚拟机被分配IP改变重新配置，见文章**linux下设置静态ip**。

    （2）更改主机名的文件在/etc/hostname,将原有名字全部删除，并写入新的名字，保存并退出，再重启。

    （3）将每台机器的ip地址复制，粘贴到/etc/hosts文件中，并在后方写入对应的主机名，如下图：image-20220311192146833

三、Hadoop节点分配

  1. 集群的三大框架：

image-20220311192306133

  1. 如何避免单点故障：只需要咱们合理的分配节点在集群的机器中（均衡搭配）。

Hadoop101: namenode datanode nodemanager

Hadoop102: resourcemanager datanode nodemanager

Hadoop103: secondarynamenode datanode nodemanager

也就是说，namenode作为hdfs的关键，放置在了hadoop101，而resourcemanager作为yarn的关键，放置在了hadoop102.

四、配置HDFS

core-site.xml

  1. 要启动HDFS，首先需要配置core-site.xml文件

（该文件位于/opt/module/hadoop-3.1.3/etc/hadoop/）

​ 在文件中的标签中添加以下配置

<!-- 决定hdfs运行模式 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop101:8020</value>
</property>
<!-- 配置hadoop临时目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置web端页面的静态用户 -->
<property>
	<name>hadoop.http.staticuser.user</name>
	<value>tedu</value>
</property>
<!--定义HDFS所开放的代理服务  -->
<property>
	<name>hadoop.proxyuser.tedu.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.tedu.groups</name>
	<value>*</value>
</property>

  1. **格式化namenode(**自动创建hadoop临时目录)

    hadoop namenode -format

  2. 启动namenode和datanode节点（启动hdfs）

    hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

hdfs-site.xml(与core-site.xml在同级目录)

<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:9870</value>
 </property>
        <!-- 2nn web端访问地址-->
 <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop103:9868</value>
 </property>

mapred-site.xml(同目录)

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!-- 历史服务器运行机器以及端口 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

yarn-site.xml（同级目录）

<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop102</value>
</property>
<!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

配置同步

将三台电脑配置同步一下

rsync -av /opt/module/…/core-site.xml tgm@hadoop102:/opt/module/.../

五、集群启动与关闭

a) 启动：

i. Hadoop101命令:

1. hadoop-daemon.sh start namenode

2. hadoop-daemon.sh start datanode

3. yarn-daemon.sh start nodemanager

ii. Hadoop102命令：

  1. hadoop-daemon.sh start datanode

  2. yarn-daemon.sh start nodemanager

  3. yarn-daemon.sh start resourcemanager

iii. Hadoop103命令:

  1. hadoop-daemon.sh start secondarynamenode

  2. yarn-daemon.sh start nodemanager

  3. hadoop-daemon.sh start datanode

b）停止：

就是把启动命令中的start替换成stop

六、其他配置

配置免密登录

  1. 使用ssh算法

    ssh-keygen -t rsa

  2. 本机免密登录其他主机

    ssh-copy-id tgm@hadoop102

not set 报错解决

如果配置了java_home还是显示not set的话 就在hadoop/etc/hadoop/下的hadoop.env.sh配置中重新配置一下java_home的路径。

使用群起、群闭

hadoop中本身具有群起群闭的命令可以用，首先配置workers同样在hadoop的etc中，加入三台主机即可
后续使用start-dfs.sh即可

七、脚本记录

虽然有hadoop的群起群闭命令，但是我们还想查看一下整个系统的运行状态，我们可以自己编写脚本进行命令封装，同时也可以把文件同步，和三机同时执行命令一起封装了。

myjps

可以用该命令看三台机器的运行状况

#!/bin/bash

echo "jps is run..."
for i in hadoop101 hadoop102 hadoop103
do
        echo "-----------$i-----------"
        ssh $i "source /etc/profile;jps"
done

start-cluster

该命令可以启动集群

#!/bin/bash
echo -e "\n--------------------TgM@Copyright-------------------"
echo -e "\n--------------------start cluster-------------------"
echo -e "\n-------------------- start hdfs  -------------------"
echo -e "\n-------------------start hadoop101 namenode---------"
hadoop-daemon.sh start namenode
echo -e "\n-------------------start hadoop101 datanode---------"
hadoop-daemon.sh start datanode
echo -e "\n-------------------start hadoop102 datanode---------"
ssh tgm@hadoop102 "source /etc/profile;hadoop-daemon.sh start datanode"
echo -e "\n-------------------start hadoop103 datanode---------"
ssh tgm@hadoop103 "source /etc/profile;hadoop-daemon.sh start datanode"
echo -e "\n-------------------start hadoop103 secondarynamenode---------"
ssh tgm@hadoop103 "source /etc/profile;hadoop-daemon.sh start secondarynamenode"
echo -e "\n--------------------finish hdfs --------------------"
echo -e "\n-------------------- start yarn --------------------"
echo -e "\n-------------------start hadoop101 nodemanager---------"
yarn-daemon.sh start nodemanager
echo -e "\n-------------------start hadoop102 resourcemanager---------"
ssh tgm@hadoop102 "source /etc/profile;yarn-daemon.sh start resourcemanager"
echo -e "\n-------------------start hadoop102 nodemanager---------"
ssh tgm@hadoop102 "source /etc/profile;yarn-daemon.sh start nodemanager"
echo -e "\n-------------------start hadoop103 nodemanager---------"
ssh tgm@hadoop103 "source /etc/profile;yarn-daemon.sh start nodemanager"
echo -e "\n--------------------finish yarn --------------------"
echo -e "\n--------------------finish cluster------------------"
myjps

最后这个myjps是使用了上述自己编写的命令，如果想要不输入路径直接使用的话，需要将命令写在一个配置到环境变量中的文件夹中。

tongshi

该脚本会在三台机器中执行任意同一条命令。

#!/bin/bash

if (($#==0)); then
  echo "nothing to do";
  exit
fi
echo --------------------$*----------------------

for i in hadoop101 hadoop102 hadoop103
do
    echo ---------------------$i-------------------
    ssh $i "$@"

tongbu

该脚本位于101机器，实现效果：就算我们输入的路径是相对路径，该脚本也能识别为绝对路径，并且发放到102以及103机器中的同一目录下。

#!/bin/bash

pcount=$#
if((pcount==0));then
echo "nothing to do";
exit;
fi

p1=$1 fname=`basename $p1`
echo fname=$fname

pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

user=`whoami`

for i in hadoop101 hadoop102 hadoop103; do
  echo --------------- $i ----------------
  rsync -av $pdir/$fname $user@$i:$pdir
done

于101机器，实现效果：就算我们输入的路径是相对路径，该脚本也能识别为绝对路径，并且发放到102以及103机器中的同一目录下。

#!/bin/bash

pcount=$#
if((pcount==0));then
echo "nothing to do";
exit;
fi

p1=$1 fname=`basename $p1`
echo fname=$fname

pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

user=`whoami`

for i in hadoop101 hadoop102 hadoop103; do
  echo --------------- $i ----------------
  rsync -av $pdir/$fname $user@$i:$pdir
done
Tgmmmmmmmm
关注
史上最简单详细的Hadoop完全分布式集群搭建
Mage的博客
10-31 5万+
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www...
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3450
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
完全分布式集群搭建步骤
mlin的博客
10-10 4609
完全分布式集群搭建步骤 [注]本文假设您的虚拟机配置已经完毕, 其需要的操作有: /etc/hosts文件需将文章所用到的主机名和Ip映射 虚拟机防火墙关闭 Hadoop环境变量配置完毕 jdk配置完毕 若以上步骤都做完了,那么可以开始我们的集群搭建 (1) 时间同步 ① 各个节点安装ntp命令yum install ntp ② 上网查找最新的时间服务器ntp1.aliyun.com ③ 同步...
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
全分布式集群搭建 -@程序猿的day01
Roite的博客
06-21 442
Hadoop集群搭建步骤 需求 jdk安装包 hadoop安装包 摘要： 创建一台虚拟机 修改本机ip 修改虚拟机ip 关闭防火墙 克隆虚拟机 修改主机映射 连接XSHELL ssh免秘钥 安装JDK和Hadoop 配置环境变量 修改Hadoop配置文件 开启hadoop集群 1. 创建一台完整的虚拟机 此处省略 2. 修改本机ip 找到网络和共享中心 — 更改适...
Ubuntu16.04上Hadoop2.7.3+Spark2.0.2完全分布式集群搭建
weixin_35085215的博客
04-02 1889
从3月22日到4月1日，整整十一天，hadoop搭建从入门到放弃，终于在愚人节完成了【开心.jpg】——Happy Fool's Day 目录 1、环境搭建 虚拟机： 系统： 节点： 2、相关软件版本 3、主要参考文章 3.1Hadoop2.7.3完全分布式集群搭建和测试(如果一切再重来) 3.2The authenticity of host 'localhost...
【Day1 Hadoop伪分布式安装】
qq_62084769的博客
06-04 705
通过一天的学习，学会了如何在单台机器上安装和配置Hadoop伪分布式模式。搭建了一个模拟分布式环境的学习和开发平台。接下来，可以开始学习和使用Hadoop的各种功能和特性了。
分布式大数据集群搭建
qq_32425417的博客
04-24 809
分布式大数据集群搭建指南
Hadoop 集群搭建（单机/伪分布式/分布式）
harvey的博客
05-31 2972
本教程适用于在 CentOS7 系统中安装 Hadoop2，详细介绍了从系统环境配置、Java环境配置到 Hadoop 安装及 Hadoop 集群配置，包括：单机、伪分布式以及分布式，步骤详细，辅以适当说明。相信按照步骤来，都能顺利搭建一个属于自己的 Hadoop 集群。 废话不多说，干货上架。一、安装虚拟机首先我们需要安装一个虚拟机软件，安装教程可以参考笔者的博客：安装VMware及新建虚拟机二
Day44 Redis集群搭建和Hadoop的安装
m0_64350718的博客
03-22 4134
集群搭建 1、创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster 2、将redis 复制到redis-cluster 目录下修改名字为7000 复制前删除单机版缓存文件 rm -rf appendonly.aof rm -rf dump.rdb cp -r /usr/local/soft/redis /usr/local/soft/redis-cluster mv /usr/local/soft
hadoop伪分布式的搭建
qq_38799155的博客
08-31 1123
一、简述 在centos7 Linux下进行伪分布式搭建。Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop 本身是无法区分伪分布式和分布式的，两种配置也很相似，唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机器。虽然Hadoop的安装步骤并不复杂，但是我在安装期间还是遇到了很多琐碎的问题，
【大数据】基于大数据平台的日志分析系统 Day2-Hadoop整体介绍及集群搭建
壹小崔的博客
03-12 1481
目录 大数据简介¶ Hadoop整体概念¶ Hadoop 集群搭建分布式集群搭建¶ 伪分布式搭建¶ 大数据简介¶ 数据¶ 数据就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字。数据也可以是文字、图像、声音等。在计算机系统中，数据以二进制信息单元 0,1 的形式表示。 大数据¶ 大数据（big data），指的是在一定时间范围内不能以常规软件...
Hadoop 搭建
qq_54110434的博客
03-09 676
hadoop2.x搭建，完全分布式，mysql，hive，spark，hbase
Hadoop之WordCount测试
最新发布
月亮的技术博客
10-04 685
Hadoop是Apache旗下的一个用Java语言实现的开源软件框架，是一个开发和运行处理大规模数据的软件平台。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。HDFS是一个高度容错的系统，用于存储大规模数据集，具有高可靠性、高扩展性和高吞吐率的特点。MapReduce则是一个用于处理这些数据集的编程模型，它简化了并行编程的复杂性，使得开发者可以专注于业务逻辑的实现。Hadoop的优势在于其高可靠性、高扩展性、高效性、高容错性以及低成本。
基于Hadoop的微博舆情监测分析系统
计算机学姐的博客
09-29 1218
【2025最新】基于大数据+大屏可视化+SpringBoot+Vue+MySQL的微博舆情监测分析系统及可视化系统。
基于Hive和Hadoop的电商消费分析系统
图南的博客
09-27 913
本项目是一个基于大数据技术的电商消费分析系统，旨在为用户提供全面的电商消费信息和深入的消费行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供准确的消费数据和深入的市场分析，帮助商家和消费者更好地了解电商趋势和消费动态。
Hadoop krb5.conf 配置详解
qq_43071699的博客
10-02 645
krb5.conf文件是Kerberos认证系统中的一个关键配置文件，它包含了Kerberos的配置信息，如KDC（Key Distribution Centers）和Kerberos相关域的管理员服务器位置、当前域和Kerberos应用的默认设置、以及主机名与Kerberos域的映射等。以下是对Hadoop环境中krb5.conf。
基于Hive和Hadoop的用电量分析系统
图南的博客
09-27 782
本项目是一个基于大数据技术的用电量分析系统，旨在为用户提供全面的电力消耗信息和深入的用电量分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供准确的用电量数据和深入的用电行为分析，帮助用户更好地了解电力使用趋势和优化能源管理。
详述Hadoop分布式集群搭建步骤
"本文详细介绍了如何搭建Hadoop分布式集群，包括所需软件、节点安排、创建Hadoop用户、配置网络环境以及后续的Hadoop配置和启动步骤。" 在搭建Hadoop分布式集群时，首先需要准备必要的软件。在这个案例中，选择了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值