Ubuntu搭建Hadoop集群的详细操作流程

最新推荐文章于 2023-12-09 09:52:47 发布
最新推荐文章于 2023-12-09 09:52:47 发布
阅读量1.1w 收藏 125
点赞数 15
分类专栏： hadoop Ubuntu 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46128342/article/details/105839257
版权

Ubuntu搭建Hadoop集群的详细操作流程

一、准备工作

若有hadoop-2.x.y.tar.gz.mds 这个文件建议也可下载，因为该文件包含了检验值可用于检查hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整，Hadoop 将无法正常运行。想验证文件完整性，可在自行百度搜索，
PS:如果浏览器下载过慢，可复制下载链接到迅雷打开下载。

二、开始搭建虚拟机
前面准备工作完成后即可开始搭建虚拟机，进行hadoop集群操作。
下面为三台虚拟机的hostname和IP地址

hostnameIp地址
Master192.168.100.13
Slave1192.168.100.14
Slave2192.168.100.15

以Ubuntu 64 为主机，命名为Master，克隆两台机器作为slaves节点
点击Ubuntu主机右键->管理->克隆->选择要安装的位置，然后静静的等待克隆完成
网络配置
1.VMware 网络配置（使虚拟机上的各个节点能够互联，用同一个网段）

  • 打开虚拟机编辑上的虚拟网络编辑器：
    VMnet8(NAT模式)----子网IP设置为：192.168.100.0----NAT设置：网关改为192.168.100.2—确定----去掉使用DHCP选项

在这里插入图片描述

在这里插入图片描述

  • 开始菜单->运行->services.msc或从控制面板中找到“服务”一项打开如下图所示，找到以vmware开头的服务，确保都启用
    在这里插入图片描述

  • 打开控制面板->系统和安全->网络和 Internet->网络和共享中心->更改适配器设置,启用VMnet8在这里插入图片描述,再查看属性，双击Intter协议版本4看IP地址与子网掩码是否配好，若没则进行相应配置。（注意IP地址与子网掩码是于上面虚拟机配置相对应的）

2.Ubuntu网络配置

如果节点的系统是在虚拟机中直接复制的，要确保各个节点的 Mac 地址不同
Linux 中查看节点 IP 地址的命令为 ifconfig

sudo vim /etc/hostname  //修改各个节点的主机名
sudo vim /etc/hosts  //修改自己所用节点的IP映射

例如本项目中使用三个节点的名称与对应的 IP 关系如下：
192.168.100.13 Master
192.168.100.14 Slave1
192.168.100.15 Slave2
在 /etc/hosts 中将该映射关系填写上去即可，如下图所示（一般该文件中只有一个 127.0.0.1，其对应名为 localhost，如果有多余的应删除，特别是不能有 “127.0.0.1 Master” 这样的记录）：
在这里插入图片描述

修改完成后需要reboot重启一下，重启后在终端中才会看到机器名的变化
以上在所有节点上都需要完成网络配置
配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功

ping Master
ping Slave1
ping Slave2

配置ssh免密码登录（在Master、 Slave1、Slave2 节点依次配一遍）

cd .ssh/
ssh-keygen -t rsa	//配置公钥，一直按回车即可

将公匙传输到Master、 Slave1、Slave2 节点上(传输过程中可能需要输入yes和对应的密码）

ssh-copy-id Master 
ssh-copy-id Slave1 
ssh-copy-id Slave2

检验免密码是否配置成功 (成功后是不用输密码即可登录，同时执行 exit 即可返回到原来的终端)

ssh Master
ssh Slave1
ssh Slave2

cd .ssh/
cat  id_rsa.pub  //查看自身公钥
cat authorized_keys /查看公钥文件

安装java环境
1配置本地源

sudo apt-get update  //更新apt

2.安装jdk

在Master上

sudo apt-get install openjdk-8-jdk openjdk-8-source

配置环境变量

vim ~/.bashrc //	添加如下几行内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export CLASSPATH=${JAVA_HOME}/lib/dt.jar:${JRE_HOME}/lib/tools.jar
export PATH=${PATH}:${JAVA_HOME}/bin

在这里插入图片描述

3.验证

java -version  //查看java 版本信息
which java //查看java的目录位置

(Slave1、Slave2的jdk安装配置同上)

Hadoop的安装
在Master上
hadoop若是下载在windows上则用sudo rz -be进行上传

sudo tar -zxf hadoop-2.7.7tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.7.7/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限

配置PATH变量

vim ~/.bashrc #在下面添加

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
在这里插入图片描述
source ~/.bashrc #使配置生效
hadoop version #进行验证
在这里插入图片描述

配置集群/分布式环境
集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的以下几个配置文件hadoop-env.sh、 mapred-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
在Master上
vim hadoop-env.sh #进入修改一下JAVA_HOME的安装目录
在这里插入图片描述

vim mapred-env.sh #同样进入修改一下JAVA_HOME的安装目录

在这里插入图片描述
sudo vi slaves #配置slaves
修改
localhost—>Slave1 Slave2
#Slave1 Slave2为你要集群的机器
在这里插入图片描述
sudo vi core-site.xml #添加以下内容

 <configuration>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

sudo vi hdfs-site.xml #添加以下内容，其中dfs.replication 一般设为 3

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

cp mapred-site.xml.template mapred-site.xml #复制一份 mapred-site.xml
sudo vi mapred-site.xml#添加以下内容：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

sudo vi yarn-site.xml #添加以下内容：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：

cd /usr/local
sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/* # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/hadoop
scp ./hadoop.master.tar.gz Slave2:/home/hadoop

在 Slave1 、2节点上执行：

sudo rm -r /usr/local/hadoop # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop

同样，如果还有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。

首次启动需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format  # 首次运行需要执行初始化，之后不需要

#成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错
在这里插入图片描述

启动 hadoop 了，启动需要在 Master 节点上进行：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，如下图所示：
在这里插入图片描述

在 Slave1、2 节点可以看到 DataNode 和 NodeManager 进程，如下图所示：
在这里插入图片描述

关闭集群，关闭也是在 Master 节点上进行：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

伪分布式、分布式配置切换时的注意事项 ：
1.从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；
2.在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。

对于Hadoop的认识及单机/伪分布式配置可以参考此处
在CentOS下搭建Hadoop集群可以参考此处
搭建Hadoop时Slave节点没出现DateNode进程的可以参考此处

小嗯子
关注
  • 15
    点赞
  • 踩
  • 125
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
ubuntu搭建hadoop集群
weixin_38705082的博客
06-26 164
ubuntu搭建hadoop集群 1.下载安装jdk1.8，所有的虚拟机都要配置 修改/etc/profile export JAVA_HOME=/home/jiuzhang/jdk1.8.0_191 export JRE_HOME=/home/jiuzhang/jdk1.8.0_191/jre export CLASSPATH=.:JAVAHOME/lib:JAVA_HOME/lib:JAVAH...
Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）
热门推荐
狂奔的蜗牛
09-22 132万+
最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone）        单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节
Ubuntu20.04搭建hadoop集群
qq_42265170的博客
03-21 6054
❀因为学业原因，我需要学习在Ubuntu系统上面搭建出hadoop集群，此贴记录下我的搭建过程，防止以后自己忘记 首先需要提前搭建好Ubuntu系统，在系统中配置上静态ip Ubuntu20.04静态ip的配置： 第一步：cd /etc/netplan 第二步：修改其下名为01-network-manager-all.yaml的文件 vi 01-network-manager-all.yaml 第三步： 文件初始状态 增加内容 我的虚拟网络编辑器NAT模式下的WMnet8的子网地址为192.168.40.
ubuntu docker搭建Hadoop集群环境的方法
01-20
spark要配合Hadoop的hdfs使用，然而Hadoop的特点就是分布式，在一台主机上搭建集群有点困难，百度后发现可以使用docker构建搭建，于是开搞： github项目：https://github.com/kiwenlau/hadoop-cluster-docker 参考文章：//www.jb51.net/article/109698.htm docker安装 文章中安装的是docker.io 但是我推荐安装docker-ce，docker.io版本太老了,步骤如下： 1、国际惯例更新下APT软件包的源  sudo apt-get update 2、安装软件包以
搭建Hadoop集群
01-20
Hadoop环境搭建 安装VMware Workstation 安装的版本是workstation pro v15.5.1 软件资源：https://www.nocmd.com/740.html 下载Ubuntu镜像文件，在虚拟机中安装 首先了解一下Vmware虚拟机下三种网络模式配置，可以参考文档《VMware虚拟机三种联网模式》，大致就是： 首先进入界面会发现多出了两个虚拟网卡，有三种模式： VMnet0：用于虚拟桥接网络下的虚拟交换机，在这种模式下，虚拟出来的操作系统就像是局域网中的一台独立的主机，它可以访问网内任何一台机器。所以需要手动为虚拟系统配置IP地址、子网掩码，而且还要和宿主
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
web18334137065的博客
08-31 5801
先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1，位置自己选择即可。注意此时slave1和slave2虚拟机是克隆的，所以说配置文件和master是完全相同的，登录的话也是master的用户和密码（用户：hadoop 密码：你自己设置的）登录上咱们要给他更改一下主机名和IP地址。可以看到VMware下生成了一个名为master的虚拟机----点击开启此虚拟机。它将IP地址和主机名相互解析。.
Ubuntu搭建Hadoop环境
duke_ding2的博客
12-01 1460
本文是在一个全新的Ubuntu 22.04 虚拟机上安装Hadoop 3.3.4。
基于Ubuntu系统下的Hadoop 环境搭建(新手可尝)
墨染的博客
04-15 7636
文章目录Hadoop 环境搭建1、安装虚拟机2.安装 Ubuntu 操作系统3、关闭防火墙4、 SSH 安装5、 安装 Xshell 及 Xftp6、 安装 JDK7、安装 hadoop8. 结语 Hadoop 环境搭建 1、安装虚拟机 在一切行动的前提，我们需要先安装好虚拟机，毕竟是供我们学习用的，因此我们需要通过虚拟机利用Linux系统来实现我们的Hadoop环境。 安装虚拟机步骤： (1）下载 VMware 安装包。到 VMware® Workstation Pro 官网，选择对应的版本 进行下载。本
基于Ubuntu系统下的Hadoop平台搭建详细步骤
今天你AC了吗
04-25 3091
基于Ubuntu系统下的Hadoop平台搭建1.更换阿里源（因为访问archive.ubuntu太慢，所以换成国内源，访问更快）2.安装JAVA环境3.创建Hadoop用户3.1创建新用户并设置密码3.2为hadoop用户添加管理员权限4.Hadoop安装4.1解压到我们的Ubuntu系统中4.2切换到Hadoop用户4.3解压Hadoop4.4伪分布式模式配置4.4.1修改配置文件4.4.2执行名称节点格式化4.5启动hadoop4.6使用浏览器查看HDFS信息4.7运行伪分布式实例4.8关闭Hadoop
搭建Hadoop集群检测网络连接时，ping命令 出现 “ping: unknown host www.baidu.com“
m0_50744317的博客
03-12 6392
搭建Hadoop集群的时候，配置完网络参数后ping www.baidu.com测试网络连接是否正常是遇到 "ping: unknown host www.baidu.com" 然后我又ping网关，结果又出现出现connect: network is unreachable 的问题。我又检查了一遍我的IP设置，确认了IP设置也没有问题。我是修改IP地址文件（vi /etc/sysconfig/network-scripts/ifcfg-eth0），设置的静态IP，之后又检查了一遍网关，DNS等设置都没
在Ubuntu上安装Hadoop集群最速度教程
最新发布
weixin_62796203的博客
12-09 180
ubuntu搭建hadoop集群中间可能会遇到许多小问题，比如ssh-copy-id,最后的访问web端等等，以及中间要无数次切换普通用户和root来达到互联，可能centos搭建hadoop会简单一点。搭建起来确实不太容易对于新手来说不太友好，做这样一个教程来帮助新手在ubuntu上配置hadoop集群。不要选择典型安装，典型安装之后登陆不上去，用户名和密码是正确的也登陆不上去（可能是这个版本的ubuntu有bug）设置->关于->软件->其他->选择服务器（推荐中科大的）
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Ubuntu搭建Hadoop3.X分布式和高可用集群，一步步深入
qq_53663722的博客
08-22 1585
本文介绍了在Ubuntu操作系统上搭建Hadoop 3.x分布式和高可用环境的步骤。首先解释了Hadoop 3.x的架构和核心组件。然后，详细讲解了如何配置Ubuntu网络和主机名，安装Java和SSH，并生成SSH密钥。接下来，引导用户通过安装和配置Hadoop的各个组件（如HDFS、YARN和MapReduce）来搭建分布式集群。通过本文的指导，读者将能够快速地在Ubuntu上搭建Hadoop 3.x分布式和高可用环境。
在ubuntu上搭建hadoop服务 （集群模式）
yhtppp的专栏
07-08 5549
环境：ubuntu 16.04hadoop-3.0.3参考：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html1.参考上一篇“在Ubuntu上搭建Hadoop服务（单机模式）”1.1.安装JDK，配置Java环境；1.2.创建hadoop组、hadoop用户；1.3.配置...
Ubuntu开发环境配置（九） 搭建Hadoop开发运行环境
idomyway的博客
09-03 3015
前言 &amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;尽管Hadoop本身可以运行在Linux、Windows、以及一些类Unix系统，但是Hadoop官方支持的作业平台是Linux，在Windows中运行Hadoop时，需要安装Cywin等软件。ubantu是不错的运行版本，当然centerOS也是不错的选择。 安装配置步骤 &amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
Linux虚拟机系统Ubuntu搭建Hadoop集群
CG_MPX的博客
12-02 1414
大学生大数据实验亲手实操笔录，希望可以帮助到大家。
Ubuntu18.04Hadoop集群搭建过程
辜月
04-24 687
虽然不知道有什么用但为了上课还是要装 直接切入正题 注意！！所有节点都要有root用户权限 不然文件复制不过去 具体百度一下 切换到root用户 sudo su #回车后自己输入密码 修改主机名字和ip映射 修改主机名字 主机改成master 其他改成slove1、slove2以此类推 vim /etc/hostname 修改ip映射 vim /etc/hosts 不管多少台 每台...
ubuntu服务器版本搭建Hadoop集群
junqiduhang的博客
03-01 1695
ubuntu服务器镜像；hadoop部署；三节点
Hadoop集群安装和搭建（全面超详细的过程）
tang5615的博客
10-05 15万+
Hadoop集群安装和搭建（全面完整的详细过程） 文章目录Hadoop集群安装和搭建（全面完整的详细过程）前言一、虚拟机的安装二、Linux系统安装1.环境准备2.虚拟机安装总结 前言 Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。 本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建，配置和测试。 一、虚拟机的安装 VMware (Virtual Machine ware）是一个“虚拟PC”软件公司，提供服务
Ubuntu搭建hadoop集群
06-07
搭建Hadoop集群需要先安装Java环境和Hadoop软件，并进行配置。以下是在Ubuntu下搭建Hadoop集群的步骤： 1. 安装Java环境： ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载Hadoop软件： ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz tar -xzvf hadoop-3.3.0.tar.gz ``` 3. 配置Hadoop： 首先，需要配置Hadoop的环境变量，打开`~/.bashrc`文件，添加以下内容： ``` export HADOOP_HOME=/path/to/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin ``` 然后，需要配置Hadoop的核心配置文件`core-site.xml`和`hdfs-site.xml`。在`$HADOOP_HOME/etc/hadoop/`目录下，创建这两个文件并添加以下内容： core-site.xml ``` <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/path/to/hadoop-3.3.0/tmp</value> </property> </configuration> ``` hdfs-site.xml ``` <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 4. 启动Hadoop集群： ``` hdfs namenode -format start-all.sh ``` 运行以上命令，格式化namenode并启动Hadoop集群。 5. 验证Hadoop集群： 打开浏览器，输入`http://localhost:9870/`，可以看到Hadoop的Web界面，表示集群已经启动成功。 以上就是在Ubuntu下搭建Hadoop集群的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值