Hadoop 3.2.1集群搭建【Ubuntu server 20.04】【ESXi】【Mac】

最新推荐文章于 2023-10-24 11:57:16 发布
最新推荐文章于 2023-10-24 11:57:16 发布
阅读量387 收藏 3
点赞数 1
分类专栏： 学习 文章标签： hadoop hdfs mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33177268/article/details/111711580
版权

参考：
Hadoop集群搭建
Hadoop学习之路（四）Hadoop集群搭建和简单应用
Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu
Ubuntu搭建Hadoop3.2.1详细步骤 （一）SSH公钥链接
如何搭建一个Hadoop集群

master配置

（O） 安装 Ubuntu server 20.04

主机名：master
用户名：hadoop
用户密码：****
密钥登陆：GitHub

（一） 安装 jdk-8u271-linux-x64.tar.gz

创建目录：mkdir /usr/java

解压到目标目录：tar -zxvf jdk-8u271-linux-x64.tar.gz -C /usr/java/

环境变量：sudo vim /etc/profile

#此处的目录是jdk的安装目录
export JAVA_HOME=/usr/java/jdk1.8.0_271

#下面的都一样
export   CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export   PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export   JRE_HOME=$JAVA_HOME/jre

测试安装成功与否：java -version

hadoop@master:~$ source /etc/profile
hadoop@master:~$ java -version
java version "1.8.0_271"
Java(TM) SE Runtime Environment (build 1.8.0_271-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode)
hadoop@master:~$

查看Java安装位置：which java

hadoop@master:~$ which java
/usr/java/jdk1.8.0_271/bin/java
hadoop@master:~$

（二） 安装 hadoop-3.2.1.tar.gz

解压安装：tar -xzf jdk-8u271-linux-x64.tar.gz

环境变量：sudo vim ./.bashrc

#此处的目录是Hadoop的安装目录
export HADOOP_HOME=/home/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

测试是否安装成功：hadoop version

hadoop@master:~$ source ./.bashrc
hadoop@master:~$ hadoop version
Hadoop 3.2.1
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842
Compiled by rohithsharmaks on 2019-09-10T15:56Z
Compiled with protoc 2.5.0
From source with checksum 776eaf9eee9c0ffc370bcbc1888737
This command was run using /home/hadoop/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar
hadoop@master:~$

（三） 修改hosts文件 & 关闭防火墙

在里面加入（只能有localhost对应127.0.0.1，其它127.0.0.1对应的行删掉）

hadoop@master:~$ sudo vim /etc/hosts

127.0.0.1 localhost

192.168.1.218 master
192.168.1.221 slaves1
192.168.1.222 slaves2
192.168.1.223 slaves3
192.168.1.224 slaves4

关闭服务器的防火墙，并且禁止开机启动，这样就不用在各个服务器上对端口进行控制。

hadoop@master:~$ systemctl stop firewalld.service
hadoop@master:~$ systemctl disable firewalld.service

（四）修改 ./hadoop-3.2.1/etc/hadoop/ 目录下的8个文件

0. hadoop-env.sh & mapred-env.sh &yarn-env.sh

给三个文件都添加JAVA_HOME

 export JAVA_HOME=/usr/java/jdk1.8.0_271
1. core-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
                <description>确定 NameNode 所在的服务器(第一台服务器)</description>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/data/hadoopdata</value>
        </property>
</configuration>
2. hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/data/hadoopdata/name</value>
                <description>为了保证元数据的安全一般配置多个不同目录</description>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/data/hadoopdata/data</value>
                <description>datanode 的数据存储目录</description>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>3</value>
                <description>HDFS 的数据块的副本存储个数, 默认是3</description>
        </property>

        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:9001</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <property>
                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                <value>false</value>
        </property>

        <property>
            <name>dfs.http.address</name>
            <value>0.0.0.0:50070</value>
        </property>
</configuration>
3. mapered-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
</configuration>
4. yarn-site.xml
<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        
        <property>
                <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>

        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8031</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>20480</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.application.classpath</name><!--这里的值在终端中调用： hadoop classpath 将获得的值替换掉value部分   -->
                <value>/home/wy/hadoop-3.2.1/etc/hadoop:/home/wy/hadoop-3.2.1/share/hadoop/common/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/common/*:/home/wy/hadoop-3.2.1/share/hadoop/hdfs:/home/wy/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/hdfs/*:/home/wy/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/mapreduce/*:/home/wy/hadoop-3.2.1/share/hadoop/yarn:/home/wy/hadoop-3.2.1/share/hadoop/yarn/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/yarn/*</value>
        </property>
</configuration>
5. worker
master
slaves1
slaves2
slaves3
slaves4

slave配置

将master机复制你想要的数量，然后：

（一）修改主机名
sudo vim /etc/hostname

是slave1，主机名就改为slave1；
是slave2，主机名就改为slave2；
等等

（二）设置静态ip
sudo vi /etc/netplan/00-installer-config.yaml

设置成，和之前配置一样的ip

network:
  ethernets:
    enp0s3:
      addresses: [192.168.1.221/24]
      gateway4: 192.168.1.1
      nameservers:
        addresses: [4.2.2.2, 8.8.8.8]
  version: 2

注意对应关系如下：

192.168.1.221 slaves1
192.168.1.222 slaves2
192.168.1.223 slaves3
192.168.1.224 slaves4
（三）修改 ./hadoop-3.2.1/etc/hadoop/ 目录下的2个文件
1. hdfs-site.xml

和master的区别只有一点点：slaves2

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/data/hadoopdata/name</value>
                <description>为了保证元数据的安全一般配置多个不同目录</description>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/data/hadoopdata/data</value>
                <description>datanode 的数据存储目录</description>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>3</value>
                <description>HDFS 的数据块的副本存储个数, 默认是3</description>
        </property>

        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slaves2:9001</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <property>
                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                <value>false</value>
        </property>

        <property>
            <name>dfs.http.address</name>
            <value>0.0.0.0:50070</value>
        </property>
</configuration>
2. mapered-site.xml

和master的区别，多了一个property

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

启动

master机

格式化

hadoop namenode -format

启动集群

start-all.sh

查看是否启动

jps

hadoop@master:~$ jps
19920 DataNode
20962 NodeManager
20626 SecondaryNameNode
20792 ResourceManager
23129 Jps
20266 NameNode

slave机

查看是否启动

jps

hadoop@slaves4:~$ jps
11485 NodeManager
11181 DataNode
11599 Jps

在浏览器中查看

http://192.168.1.218:50070/

http://192.168.1.218:8088/

在这里插入图片描述
在这里插入图片描述
关闭集群

stop-all.sh

中间的坑

因为我参考了多个方法，所以搭建时难免有上次的logs，dfs文件残留，一定要记得删掉。
比如，我遇到的Hadoop启动的时候，发现Datanode启动不了，解决办法
两个VERSION的clusterID 不匹配
建议上次搭建失败的小伙伴删掉logs

相关工具

虚拟机：VMware ESXi

SSH：Termius

文件传输：Transmit

一只公羊
关注
专栏目录
CentOS 7.7 安装 Hadoop 2.10.1集群
扛麻袋的少年的博客
10-29 1777
三：CentOS 7.7 安装 Hadoop 2.10.1集群 1.Hadoop集群   Hadoop集群，具体来说包含两个集群：hdfs集群和yarn集群。两者逻辑上分离，但物理上常在一起。 hdfs集群:   负责海量数据的存储工作。集群中的角色主要有 NameNode、DataNode、SecondaryDataNode。 yarn集群:   负责海量数据运算时的资源调度。集群中的角色主要有ResourceManager、NodeManager。 各个角色职责：
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3341
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
Ubuntu搭建Hadoop3.2.1详细步骤 （二）Hadoop集群配置
wangyun19990728的博客
10-30 677
Ubuntu搭建Hadoop3.2.1详细步骤 （二）Hadoop集群配置 上篇文章中的ssh配置的结果是，在master机上能够随心登陆任意一台虚拟机。这篇文章讲述的是如何编写hadoop的配置文件。 注意：如果你的hadoop不是放在home目录的话，无法使用图形界面方式编辑。可以采用 sudo nano +路径 的方式编辑。 配置文件编写 下面是core-site.xml的代码： <c...
Ubuntu搭建Hadoop3.2.1详细步骤 （一）SSH公钥链接
wangyun19990728的博客
10-22 430
Ubuntu搭建Hadoop3.2.1详细步骤 一、环境配置 ubuntu14.04.0 下载地址：链接：https://pan.baidu.com/s/1BVw8aiaSbJzsqwEQP327jA&shfl=sharepset 提取码：9mqn jdk1.8 下载地址：链接：https://pan.baidu.com/s/1HBMqX4sMAFqdUINt13mkvQ&shf...
完全分布式hadoop集群安装之一：VMWare Vsphere ESXI 5.1 安装配置
代码能让我保持心静，心静能让我保持动力
11-05 3942
本人要搭建yi'ge'xu'm
Ubuntu-16.04.3环境下安装Hadoop3.2.1 教程
AuroraCyi
10-16 578
文章目录前言一、安装前的准备工作1. 创建hadoop用户2. 更新apt二、安装SSH1.安装SSH2. 配置无密码登录三、安装Java环境1.建立Java目录2.下载安装Java JDK3. 配置环境变量四、安装Hadoop五、Hadoop单击配置（非分布式） 前言 Ubuntu-16.04.3环境下安装Hadoop3.2.1 教程 作者也是刚接触Hadoop，在查阅多方资料后才安装成功，发现网上没有非常适合小白的安装教程，故写下此文章，如有错误，欢迎指正。 使用本教程请确保系统处于联网状态 本教.
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
CentOS7下Hadoop3.2.1集群的安装与部署（下）
01-07
在《CentOS7下Hadoop3.2.1集群的安装与部署（上）》中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后，若要启用HA还需要对hdfs-...
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： ...
hadoop3.2.1 各组件安装教程
12-24
hadoop3.2.1 各组件安装教程
Ubuntu20.04搭建hadoop2.10.0集群.md
09-14
关于hadoop集群的搭建，详细讲述了如何搭建集群，配置文件以及如何启动，还有可能遇到的问题以及解决方案
Ubuntu20.04配置Hadoop.txt
04-28
本教程是根据个人在UBUNTU虚拟机上安装配置Hadoop2.7.3的实际操作步骤一步步记录下来的，大部分指令操作的目的都加了注释以方便理解。（本教程很详细，如果还是遇到问题可以直接咨询楼主，不会让你的积分百花的）
记录Ubuntu19.04安装hadoop3.2.1（单击版和伪分布式版）
鱼豆腐的博客
03-25 566
记录安装Hadoop过程 单击版 准备过程 1）安装vim 2）安装ssh server 3）安装pdsh，可并行的执行对目标主机的操作，对于批量执行命令和分发任务有很大的帮助，在使用前需要配置ssh无密码登录。 4）配置ssh无密码登录 ssh localhost测试连接 5）下载jdk1.8 https://pan.baidu.com/s/1XKPY5bEB9XHkKN12aX3vG...
hadoop3.2.0 伪分布式安装（Ubuntu）
ghost165的博客
05-22 829
一. 安装jdk 下载jdk，并修改环境配置:设置JAVA_HOME，CLASSPATH和PATH 官网：https://www.oracle.com/technetwork/java/javase/downloads/index.html $ vim .bashrc 应用修改 $ source .bashrc 修改完成后可以通过 Java -version查看java版本。...
在ESXi安装ubuntu中，ubuntu20.04是LVM管理的，lvm盘只有识别100G ，需扩展逻辑卷来使用更多的空间
m0_54706625的博客
07-08 1201
"Linux filesystem"是一个通用术语，用于描述任何Linux可以使用的文件系统，包括但不限于ext2, ext3, ext4, XFS, Btrfs等。如果你只是想扩展你的逻辑卷，你不需要重新初始化这个物理卷，你可以直接使用lvextend和resize2fs命令来扩展你的逻辑卷和文件系统。完成以上步骤后，你的逻辑卷应该已经扩展到包含/dev/sda3的全部空间，你的/home目录应该有更多的可用空间。
安装hadoop-3.2.1
qq_40852251的博客
05-14 1014
安装hadoop-3.2.1 安装环境与安装包 设备共3台，IP，系统版本，如下： haha1 10.1.1.1 centos7.0 haha2 10.1.1.2 centos7.0 haha3 10.1.1.3 centos7.0 hadoop版本 —hadoop-3.2.1 jdk版本 —jdk1.8.0_241 安装包下载链接 hadoop： 链接: link. 本次实验选择的安装包是—ha...
如何安装Ubuntu20.04(详细图文教程
最新发布
weixin_45303602的博客
10-24 3万+
Linux是一种自由和开放源代码的操作系统内核，被广泛应用于各种计算机系统中。它以稳定性、安全性和灵活性而闻名，并成为服务器、嵌入式设备和个人计算机等领域的首选操作系统。Linux的主要特点和功能包括：开放源代码：Linux采用开放源代码模式，意味着用户可以自由地查看、修改和分发源代码，这使得Linux具有高度的可定制性和灵活性。同时，开放源代码也促进了广大开发者的参与，推动了Linux社区的发展和创新。多用户、多任务支持：Linux支持多用户同时登录，并且可以同时运行多个任务。
安装，使用hadoop集群遇到的坑(vSphere虚拟化环境)
Me.Show
05-13 2693
vSphere安装hadoop集群遇到的坑 （文章不定期更新） 1 环境概述 服务器：LENOVO ThinkServer RD540 虚拟化环境：Esxi5.5 Linux系统：Ubuntu 16.04LTS 2 坑 2.1 Esxi时断时连 装好Esxi后，在vSphere界面初步安装环境，却发现时断时连。如下图： 在连接过程中时不时会抛出异常。 而且在传输大文件必...
ESXI8.0下Ubuntu 20.04LTS安装VMTools
Dezmond的博客
11-30 3767
7行命令解决ESXI下安装Ubuntu出现"VMware Tools 未由 vSphere 管理"
ubuntu20.04hadoop集群搭建
06-28
Ubuntu 20.04 Hadoop集群搭建的步骤如下： 1. 安装Java环境：在Ubuntu 20.04上安装Java环境，可以使用OpenJDK或Oracle JDK。 2. 下载Hadoop：从官方网站下载Hadoop的最新版本。 3. 解压Hadoop：将下载的Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值