Hadoop 3.2.1集群搭建【Ubuntu server 20.04】【ESXi】【Mac】

最新推荐文章于 2023-10-24 11:57:16 发布
最新推荐文章于 2023-10-24 11:57:16 发布
阅读量362 收藏 3
点赞数 1
分类专栏： 学习 文章标签： hadoop hdfs mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33177268/article/details/111711580
版权

参考：
Hadoop集群搭建
Hadoop学习之路（四）Hadoop集群搭建和简单应用
Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu
Ubuntu搭建Hadoop3.2.1详细步骤 （一）SSH公钥链接
如何搭建一个Hadoop集群

master配置

（O） 安装 Ubuntu server 20.04

主机名：master
用户名：hadoop
用户密码：****
密钥登陆：GitHub

（一） 安装 jdk-8u271-linux-x64.tar.gz

创建目录：mkdir /usr/java

解压到目标目录：tar -zxvf jdk-8u271-linux-x64.tar.gz -C /usr/java/

环境变量：sudo vim /etc/profile

#此处的目录是jdk的安装目录
export JAVA_HOME=/usr/java/jdk1.8.0_271

#下面的都一样
export   CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export   PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export   JRE_HOME=$JAVA_HOME/jre

测试安装成功与否：java -version

hadoop@master:~$ source /etc/profile
hadoop@master:~$ java -version
java version "1.8.0_271"
Java(TM) SE Runtime Environment (build 1.8.0_271-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode)
hadoop@master:~$

查看Java安装位置：which java

hadoop@master:~$ which java
/usr/java/jdk1.8.0_271/bin/java
hadoop@master:~$

（二） 安装 hadoop-3.2.1.tar.gz

解压安装：tar -xzf jdk-8u271-linux-x64.tar.gz

环境变量：sudo vim ./.bashrc

#此处的目录是Hadoop的安装目录
export HADOOP_HOME=/home/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

测试是否安装成功：hadoop version

hadoop@master:~$ source ./.bashrc
hadoop@master:~$ hadoop version
Hadoop 3.2.1
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842
Compiled by rohithsharmaks on 2019-09-10T15:56Z
Compiled with protoc 2.5.0
From source with checksum 776eaf9eee9c0ffc370bcbc1888737
This command was run using /home/hadoop/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar
hadoop@master:~$

（三） 修改hosts文件 & 关闭防火墙

在里面加入（只能有localhost对应127.0.0.1，其它127.0.0.1对应的行删掉）

hadoop@master:~$ sudo vim /etc/hosts

127.0.0.1 localhost

192.168.1.218 master
192.168.1.221 slaves1
192.168.1.222 slaves2
192.168.1.223 slaves3
192.168.1.224 slaves4

关闭服务器的防火墙，并且禁止开机启动，这样就不用在各个服务器上对端口进行控制。

hadoop@master:~$ systemctl stop firewalld.service
hadoop@master:~$ systemctl disable firewalld.service

（四）修改 ./hadoop-3.2.1/etc/hadoop/ 目录下的8个文件

0. hadoop-env.sh & mapred-env.sh &yarn-env.sh

给三个文件都添加JAVA_HOME

 export JAVA_HOME=/usr/java/jdk1.8.0_271
1. core-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
                <description>确定 NameNode 所在的服务器(第一台服务器)</description>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/data/hadoopdata</value>
        </property>
</configuration>
2. hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/data/hadoopdata/name</value>
                <description>为了保证元数据的安全一般配置多个不同目录</description>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/data/hadoopdata/data</value>
                <description>datanode 的数据存储目录</description>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>3</value>
                <description>HDFS 的数据块的副本存储个数, 默认是3</description>
        </property>

        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:9001</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <property>
                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                <value>false</value>
        </property>

        <property>
            <name>dfs.http.address</name>
            <value>0.0.0.0:50070</value>
        </property>
</configuration>
3. mapered-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
</configuration>
4. yarn-site.xml
<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        
        <property>
                <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>

        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8031</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>20480</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.application.classpath</name><!--这里的值在终端中调用： hadoop classpath 将获得的值替换掉value部分   -->
                <value>/home/wy/hadoop-3.2.1/etc/hadoop:/home/wy/hadoop-3.2.1/share/hadoop/common/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/common/*:/home/wy/hadoop-3.2.1/share/hadoop/hdfs:/home/wy/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/hdfs/*:/home/wy/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/mapreduce/*:/home/wy/hadoop-3.2.1/share/hadoop/yarn:/home/wy/hadoop-3.2.1/share/hadoop/yarn/lib/*:/home/wy/hadoop-3.2.1/share/hadoop/yarn/*</value>
        </property>
</configuration>
5. worker
master
slaves1
slaves2
slaves3
slaves4

slave配置

将master机复制你想要的数量，然后：

（一）修改主机名
sudo vim /etc/hostname

是slave1，主机名就改为slave1；
是slave2，主机名就改为slave2；
等等

（二）设置静态ip
sudo vi /etc/netplan/00-installer-config.yaml

设置成，和之前配置一样的ip

network:
  ethernets:
    enp0s3:
      addresses: [192.168.1.221/24]
      gateway4: 192.168.1.1
      nameservers:
        addresses: [4.2.2.2, 8.8.8.8]
  version: 2

注意对应关系如下：

192.168.1.221 slaves1
192.168.1.222 slaves2
192.168.1.223 slaves3
192.168.1.224 slaves4
（三）修改 ./hadoop-3.2.1/etc/hadoop/ 目录下的2个文件
1. hdfs-site.xml

和master的区别只有一点点：slaves2

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/data/hadoopdata/name</value>
                <description>为了保证元数据的安全一般配置多个不同目录</description>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/data/hadoopdata/data</value>
                <description>datanode 的数据存储目录</description>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>3</value>
                <description>HDFS 的数据块的副本存储个数, 默认是3</description>
        </property>

        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slaves2:9001</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <property>
                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                <value>false</value>
        </property>

        <property>
            <name>dfs.http.address</name>
            <value>0.0.0.0:50070</value>
        </property>
</configuration>
2. mapered-site.xml

和master的区别，多了一个property

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

启动

master机

格式化

hadoop namenode -format

启动集群

start-all.sh

查看是否启动

jps

hadoop@master:~$ jps
19920 DataNode
20962 NodeManager
20626 SecondaryNameNode
20792 ResourceManager
23129 Jps
20266 NameNode

slave机

查看是否启动

jps

hadoop@slaves4:~$ jps
11485 NodeManager
11181 DataNode
11599 Jps

在浏览器中查看

http://192.168.1.218:50070/

http://192.168.1.218:8088/

在这里插入图片描述
在这里插入图片描述
关闭集群

stop-all.sh

中间的坑

因为我参考了多个方法，所以搭建时难免有上次的logs，dfs文件残留，一定要记得删掉。
比如，我遇到的Hadoop启动的时候，发现Datanode启动不了，解决办法
两个VERSION的clusterID 不匹配
建议上次搭建失败的小伙伴删掉logs

相关工具

虚拟机：VMware ESXi

SSH：Termius

文件传输：Transmit

一只公羊
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
完全分布式hadoop集群安装之一：VMWare Vsphere ESXI 5.1 安装配置
代码能让我保持心静，心静能让我保持动力
11-05 3828
本人要搭建yi'ge'xu'm
在ESXi安装ubuntu中，ubuntu20.04是LVM管理的，lvm盘只有识别100G ，需扩展逻辑卷来使用更多的空间
m0_54706625的博客
07-08 1039
"Linux filesystem"是一个通用术语，用于描述任何Linux可以使用的文件系统，包括但不限于ext2, ext3, ext4, XFS, Btrfs等。如果你只是想扩展你的逻辑卷，你不需要重新初始化这个物理卷，你可以直接使用lvextend和resize2fs命令来扩展你的逻辑卷和文件系统。完成以上步骤后，你的逻辑卷应该已经扩展到包含/dev/sda3的全部空间，你的/home目录应该有更多的可用空间。
如何安装Ubuntu20.04(详细图文教程
最新发布
weixin_45303602的博客
10-24 1万+
Linux是一种自由和开放源代码的操作系统内核，被广泛应用于各种计算机系统中。它以稳定性、安全性和灵活性而闻名，并成为服务器、嵌入式设备和个人计算机等领域的首选操作系统。Linux的主要特点和功能包括：开放源代码：Linux采用开放源代码模式，意味着用户可以自由地查看、修改和分发源代码，这使得Linux具有高度的可定制性和灵活性。同时，开放源代码也促进了广大开发者的参与，推动了Linux社区的发展和创新。多用户、多任务支持：Linux支持多用户同时登录，并且可以同时运行多个任务。
exsi ubuntu20.04虚拟机忘记root密码
qq_42152032的博客
08-11 353
删除之后，在这一行的末尾，我这里是dis_ucode_ldr的后面，加上quiet splash rw init=/bin/bash,然后按f10 或 快捷键“CTRL + X”进入系统并输入“passwd root”修改密码，此处密码需要填写2遍，显示“password updated successfully”表示密码更新成功。开启虚拟机后进入BIOS界面，切换到Exit选项卡，回车后，狂按shift进入GRUB界面(ps: 我是直接重启的话，狂按shift进不去GRUB界面，所有才通过BIOS启动)
安装，使用hadoop集群遇到的坑(vSphere虚拟化环境)
Me.Show
05-13 2645
vSphere安装hadoop集群遇到的坑 （文章不定期更新） 1 环境概述 服务器：LENOVO ThinkServer RD540 虚拟化环境：Esxi5.5 Linux系统：Ubuntu 16.04LTS 2 坑 2.1 Esxi时断时连 装好Esxi后，在vSphere界面初步安装环境，却发现时断时连。如下图： 在连接过程中时不时会抛出异常。 而且在传输大文件必...
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。  Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/...
CentOS7下Hadoop3.2.1集群的安装与部署（下）
01-07
在《CentOS7下Hadoop3.2.1集群的安装与部署（上）》中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后，若要启用HA还需要对hdfs-...
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： ...
解决：Vmware Workstation 和 Vmware ESXI 创建虚拟机Ubuntu20.04时界面显示不全，无法点击Continue进行下一步
Pangpangbupang.
02-21 1742
安装workstation时那种调整界面大小的方法不适用Esxi中，我测试发现在使用命令CTRL ALT + T无法调出命令行。所以就换一种方式来安装。2. 终端输入 xrandr --size 1280x800 此命令是调整屏幕大小。1.如下图，到了这一步可以按 CTRL + ALT + T 调出命令终端。1.在安装的第一个界面选择Try Ubuntu 试用乌班图。3. 点击桌面Install ubuntu进行安装。3.此时已经显示屏幕完整信息。2. 在设置中修改屏幕分辨率。
Ubuntu20.04搭建hadoop2.10.0集群.md
09-14
关于hadoop集群的搭建，详细讲述了如何搭建集群，配置文件以及如何启动，还有可能遇到的问题以及解决方案
Ubuntu18.04下的esxi安装附各种问题解答)
02-15
Ubuntu18.04下的KVM网络配置(附各种问题解答)，附过程截图命令，以及问题遇到的问题解答
Ubuntu20.04配置Hadoop.txt
04-28
本教程是根据个人在UBUNTU虚拟机上安装配置Hadoop2.7.3的实际操作步骤一步步记录下来的，大部分指令操作的目的都加了注释以方便理解。（本教程很详细，如果还是遇到问题可以直接咨询楼主，不会让你的积分百花的）
ESXI8.0下Ubuntu 20.04LTS安装VMTools
Dezmond的博客
11-30 3210
7行命令解决ESXI下安装Ubuntu出现"VMware Tools 未由 vSphere 管理"
VMWare虚拟机安装Ubuntu20.04详细过程
热门推荐
qq_42003997的博客
05-09 2万+
VMWare虚拟机安装Ubuntu20.04详细过程 1、点击创建新的虚拟机。 2、一直按下图操作，点击下一步。 3、填写虚拟机名称、选择位置。点击下一步。 4、点击下一步。 5、根据自身电脑的配置，填写虚拟机内存。我选择2048MB。点击下一步。 6、点击下一步。 7、选择虚拟机硬盘容量，默认20GB。点击下一步。 8、点击自定义组件。 9、点击新CD/DVD等，选择使用ISO映像文件。选择事先官网下载好的镜像文件。点击关闭-完成。 10、开启上述创建的虚拟机，选择中文（简
Ubuntu搭建Hadoop3.2.1详细步骤 （二）Hadoop集群配置
wangyun19990728的博客
10-30 656
Ubuntu搭建Hadoop3.2.1详细步骤 （二）Hadoop集群配置 上篇文章中的ssh配置的结果是，在master机上能够随心登陆任意一台虚拟机。这篇文章讲述的是如何编写hadoop的配置文件。 注意：如果你的hadoop不是放在home目录的话，无法使用图形界面方式编辑。可以采用 sudo nano +路径 的方式编辑。 配置文件编写 下面是core-site.xml的代码： <c...
VM虚拟机安装+ubuntu20.04安装基本配置+hadoop3.2.1安装及配置单机和伪分布模式
m0_51402187的博客
10-22 7728
学校最近有一个人工智能大赛，其中有一个大数据竞赛。完全是个小白的我根据林子雨老师的教程和视频，进行hadoop的环境配置和安装，由于对ubuntu的了解很少，只能尽量减少错误，还希望大佬能多多指正！ 首先是linux系统的安装，这里我选择ubuntu系统（严格来说，Linux并不是操作系统，而是一个操作系统的内核，Ubuntu基于linux内核的桌面PC操作系统，术语上喜欢称Ubuntu是一个 Linux 发行版。相当于window也有win8，win10） 还有centOS和mint也是Linux的发行版
ubuntu server18.04安装hadoop3.2.1集群
Sp4rkW的博客
03-11 1804
这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，两个数据节点。 目录速览配置环境1、系统环境2、安装java环境3、配置host4、配置免密登录Hadoop节点搭建1、下载安装包，创建Hadoop目录2、配置Master节点的Hadoop环境变量3、配置Master节点Hadoop配置文件5、其他两个Slave节点的配置6、补充配置启动集群1、格式化HDFS文件系统2、启动集群 配置...
ubuntu18.04搭建hadoop3.2.1
lgyfhk的博客
11-16 1381
网络配置 1、利用Virtualbox虚拟机建立3台虚拟机，安装ubuntu18.04，见下图 2、进入ubuntu系统，对主机进行重命名。“Vim /etc/hostname” 将3台虚拟机的名字分别改为“ubuntu-master”、“ubuntu-slave1”、“ubuntu-slave2”。 3、配置hosts文件，填入虚拟机的ip地址及机器名称 Vim /etc/hosts 建立...
ubuntu20.04hadoop集群搭建
06-28
Ubuntu 20.04 Hadoop集群搭建的步骤如下： 1. 安装Java环境：在Ubuntu 20.04上安装Java环境，可以使用OpenJDK或Oracle JDK。 2. 下载Hadoop：从官方网站下载Hadoop的最新版本。 3. 解压Hadoop：将下载的Hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值