hadoop完全分布式环境搭建

于 2022-10-17 10:58:24 发布
阅读量930 收藏 2
点赞数 1
文章标签： hadoop hdfs linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kyrie_Lai/article/details/127358918
版权

参考：

  1. VMware安装教程
  2. 超级无敌详细ubantu搭建hadoop完全分布式集群
  3. hadoop完全分布式搭建

一、环境说明

  • win10专业版，16GB RAM。
  • machine1: Linux Ubantu18.04，4GB RAM，40G硬盘，CPU1核4线程
  • machine2: Linux Ubantu18.04，2GB RAM，40G硬盘，CPU1核4线程
  • machine3: Linux Ubantu18.04，2GB RAM，40G硬盘，CPU1核4线程
  • VMware Workstation Pro 16
  • hadoop-2.7.7
  • jdk_3u341

二、hadoop全分布系统搭建步骤

1. 新建一台虚拟机，并安装ubantu18.04

2. 前期准备

安装vmware-tools

请添加图片描述
点击安装VMware Tools后，ubantu桌面上会多出一个压缩包，现在打开Terminal（终端），输入sudo tar -zxvf 路径+压缩包名字 ，右键点击压缩包properties可查看压缩包的路径。

安装vim

sudo apt install vim

安装ssh-server

创建hadoop用户

请添加图片描述

为hadoop用户添加sudo权限

3. 配置静态ip、hosts文件、克隆虚拟机、更改主机名

1.配置静态IP、hosts文件、克隆虚拟机、更改主机名

配置静态IP

先点开虚拟网络编辑器查看IP地址和网关。

请添加图片描述
请添加图片描述

请添加图片描述

记得先登录hadoop用户后再开始以下所有所有的步骤，重启之后也要记得登录用户！！

cd /etc/netplan
ls
  • 查看完配置文件,使用sudo vi 进入配置文件（文件名字可能会有区别）
sudo vi 01-network-manager-all.yaml

请添加图片描述

  • 进行配置

vi 编辑器刚进入的时候默认是命令模式，要按一下 i 进入编辑模式。如果编辑完成想要退出，首先先按一下Esc到命令模式然后输如 :wq!
保存退出，如果不想保存退出就使用:q!命令。

请添加图片描述

  • 退出之后启动网卡
sudo netplan apply 
ip a                       查看IP的命令

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
请添加图片描述

  • 配置hosts文件

hosts文件是本地域名解析，一个本地的DNS。它将IP地址和主机名相互解析

也是使用vi 编辑器进行编辑
vi  /etc/hosts

初始状态master应该是127.0.1.1，记得要修改为你需要的IP地址。

请添加图片描述

  • 克隆虚拟机

先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1，位置自己选择即可。点击完成。即可看到VMware里多了一台名为slave1的虚拟机。slave2操作相同，就是虚拟机名称改为slave2即可。创建完如下图：

img

  • 配置slave1和slave2

注意此时slave1和slave2虚拟机是克隆的，所以说配置文件和master是完全相同的，登录的话也是master的用户和密码（用户：hadoop 密码：你自己设置的）登录上咱们要给他更改一下主机名和IP地址。打开slave1、slave2虚拟机进行以下操作:

对slave1虚拟机进行操作的命令，操作的时候会让你输入密码
就输入hadoop用户的密码

hostnamectl set-hostname slave1          这个命令是永久更改主机名
sudo login           执行完这个命令会让你重新登录以下直接hadoop用户登录

对slave2虚拟机进行相同操作

hostnamectl set-hostname slave2          注意这里是slave2
sudo login

更改slave1的IP地址

vi /etc/netplan/00-installer-config.yaml
sudo netplan apply                          配置完启动一下网络服务
ip a                                        查看一下是否配置成功

请添加图片描述

请添加图片描述

  • 更改slave2的IP地址

操作跟slave1命令一样，把 0 改成 2 保存退出即可，也要使用sudo netplan apply
命令启动一下网络服务。使用ip a查看一下是否配置成功

2.配置ssh免密登录

ssh-keygen -t rsa    每台机器都要执行这个命令，一路回车就可以了
  • 执行完上面的命令，会发现用户目录下有一个.ssh的目录，使用下面的命令查看一下
cd ~/.ssh/
ls

img

现在在master节点touch一个名为authorized_keys的文件然后使用cat命令将master的公钥追加到这个文件里。命令如下：

touch authorized_keys
cat id_rsa.pub >> authorized_keys

img

然后将slave1的公钥使用scp命令复制到master节点上

scp ~/.ssh/id_rsa.pub hadoop@msater:~/

img

  • 可以看到master节点用户命令下多了一个id_rsa_pub的文件
    img
  • 同样使用cat命令将slave1的公钥追加到authorized_keys文件里
cat id_rsa_pub >> .ssh/authorized_keys
cat .ssh/authorized_keys

img

使用相同的命令将slave2的公钥传到master节点里并写入authorized_keys文件里

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:~/ 在slave2里执行

（这里说明一下执行完上面这个命令会把之前咱们传的slave1的公钥文件覆盖掉，没什么影响。在master节点里执行下面的命令）

cat id_rsa_pub >> .ssh/authorized_keys
cat .ssh/authorized_keys

img

然后使用scp命令将master节点里的authorized_keys文件分别上传到slave1和slave2节点的.ssh/目录下

scp /home/hadoop/.ssh/authorized_keys hadoop@slave1:~/.ssh/
scp /home/hadoop/.ssh/authorized_keys hadoop@slave2:~/.ssh/
  • 验证ssh免密登录
ssh slave1   远程登录slave1命令，如果想登录其他节点，将slave1改成其他主机的主机名即可
exit       这个是退出命令

img

最后的最后，最好执行以下步骤

# ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
# ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

3.上传并解压JDK、Hadoop压缩包

  • 使用Xftp软件进行上传

注意：使用Xftp之前要确保宿主机（就是自己的电脑）和虚拟机相互通信。

  • 点击【连接】会出现下面界面
    img

出现下面界面，咱们可以直接把左面电脑里的文件拖到右面的虚拟机里。当然虚拟机里的文件也可以直接拖到自己电脑里。

img

  • 将hadoop、jdk压缩文件拖到虚拟机里
    img
  • 也可以到master用户目录下查看
    img
  • 解压hadoop、jdk
sudo tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/    -C参数是指定解压到哪个目录下
sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/
cd /usr/local/      到这个目录下
ls    查看一下

img

  • 给这两个权限，归hadoop用户所有
sudo chown -R hadoop hadoop-2.7.7/
sudo chown -R hadoop jdk1.8.0_251
ll    查看一下

img

4.添加环境变量

vi .bashrc        在这个文件最后添加如下内容，三台机器都需要添加。
source .bashrc     添加完成之后执行这个条命令，让其生效。

img

  • 验证一下是否添加成功

    此时只有master主机会显示添加成功！！！

java -version

img

四、配置Hadoop文件

  • 首先进入存放Hadoop配置文件的目录
cd /usr/local/hadoop-2.7.7/etc/hadoop/      进入此目录
ls    查看一下

请添加图片描述

1.配置核心组件core-site.xml

vi core-site.xml    打开文件，添加以下内容

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.100.100:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/hadoopdata</value>
</property>

请添加图片描述

2.配置hadoop-env.sh

vi hadoop-env.sh   添加JDK的安装目录

export JAVA_HOME=/usr/local/jdk1.8.0_251

img

3.配置hdfs-site.xml

vi hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

请添加图片描述

4.配置yarn-site.xml

vi yarn-site.xml
	
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>192.168.89.100:18040</value>
</property>								        
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>192.168.89.100:18030</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>192.168.89.100:18025</value>
</property>
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>192.168.89.100:18141</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>192.168.89.100:18088</value>
</property>

请添加图片描述

5.配置mapred-site.xml

使用cp命令复制mapred-site.xml.template文件为mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml     使用cp命令进行复制

vi mapred-site.xml   添加以下内容

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

img

6.配置yarn-env.sh

sudo vi yarn-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_251

请添加图片描述

7. 配置slaves文件

将文件里的内容改为三个结点的名称。

sudo vi slaves

master

slave1

slave2

请添加图片描述

五、复制文件

1.使用scp命令将hadoop、jdk文件复制到slave1和slave2节点上。

这一步之前最好再核对一次之前的配置文件有没有问题，一旦出错，又要重新发送，非常繁琐。

在master节点执行下面命令

sudo scp -r /usr/local/hadoop-2.7.7 hadoop@slave1:~/
sudo scp -r /usr/local/hadoop-2.7.7 hadoop@slave2:~/
sudo scp -r /usr/local/jdk1.8.0_251 hadoop@slave1:~/
sudo scp -r /usr/local/jdk1.8.0_251 hadoop@slave2:~/
此时已经将这两个文件复制到slave1、slave2节点的用户目录下

2.移动文件

在slave1、slave2节点执行下面命令
sudo mv /home/hadoop/hadoop-2.7.7/ /usr/local/
sudo mv /home/hadoop/jdk1.8.0_251/ /usr/local/

source .bashrc    生效一下环境变量，每台节点都要执行。

img

六、启动集群

1.在master节点格式化namenode

hdfs namenode -format       进行格式化

2.start-all.sh启动集群

start-all.sh

请添加图片描述

  • 查看master节点的进程

请添加图片描述

  • 查看slave1节点的进程

    通过ssh slave1访问，通过exit退出

请添加图片描述

  • 查看slave2节点的进程
    请添加图片描述

3.通过浏览器访问UI 集群信息图

在浏览器中输入192.168.89.100:50070

请添加图片描述

4.通过浏览器访问Yarn web 信息图

在浏览器中输入192.168.89.100:18088

请添加图片描述

至此Hadoop完全分布式搭建完成

五、wordcount的实现

  1. 首先确认你的hadoop启动了。

启动hadoop：start-all.sh

  1. 具体实现

进入hadoop安装目录：cd /usr/local/hadoop-2.7.7

查看目录下情况：ll

请添加图片描述

这里我们就以LICENSE.txt文件作为输入源文件，可以查看下license内容：

$ cat LICENSE.txt ，我们统计下里面各个单词出现的次数。

3.1 在HDFS中创建input目录

就在刚才hadoop 目录下，输入命令:hadoop fs -mkdir /input 之后可以用命令看:$hadoop fs -ls / 我们创建input目录成功，截图

如下图：

请添加图片描述

我们将LICENSE.txt放到input目录下：hadoop fs -put LICENSE.txt /input 可以通过命令:hadoop fs -ls /input看到license.txt已经存在input目录下了，截图如下图：

请添加图片描述

接下来只需要将/input通过hadoop自带示例程序wordcount计算出其中各字母出现的次数便可，命令：hadoop jar /usr/local/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output
(ps:根据自己hadoop版本和路径相应的调整)：
请添加图片描述

可以通过命令$hadoop fs -ls /看出，HDFS系统下多了个/output 和/tmp目录。

请添加图片描述

打开/output目录可以看到下面有两个文件（_SUCCESS和part-r-00000），说明已经运行成功了，

请添加图片描述

直接打开part-r-00000便可以查看结果，命令
$hadoop fs -cat /output/part-r-00000，结果如图：

请添加图片描述

Kyrie_Lai
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop完全分布式环境搭建
12-09
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
hadoop-MapReduce分区
Xiaoweidumpb
10-22 359
#####Step 1. 定义 Mapper 这个 Mapper 程序不做任何逻辑, 也不对 Key-Value 做任何改变, 只是接收数据, 然后往下发送 public class MyMapper extends Mapper<LongWritable,Text,Text,NullWritable>{ @Override protected void map(LongWritable key, Text value, Context context) throws IOExc
超详解Hadoop集群环境配置，步步附有截图，一篇讲解清楚
weixin_46429290的博客
12-10 9251
Hadoop集群配置 1）集群部署规划 注意： ①NameNode和SecondaryNameNode不要安装在同一台服务器上。NN和2NN的关系就好像是NN的补充是2NN，如果安装在同一个机器上，机器一挂，NN和2NN全挂，完全不需要2NN对NN的补充 ②ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上 所以安装规划如下 hadoop102 hadoop103 hadoop104 HDFS NameNodeDataN
HDFS的元数据信息FSimage以及edits和secondaryNN的作用
Fenggms的博客
09-19 1234
1、 FSImage与edits详解 当架构如下图所示时： namenode就一个的时候，所有的元数据信息都保存在了FsImage与Eidts文件当中，这两个文件就记录了所有的数据的元数据信息，元数据信息的保存目录配置在了hdfs-site.xml当中 &lt;property&gt; &lt;name&gt;dfs.namenode.name.dir&lt;/n...
hadoop集群启动及各服务启动命令
qq_53610367的博客
07-04 2173
1)Hadoop的启动(先启动zookeeper) 3台都得启动 zookeeper /export/servers/zookeeper-3.4.9/bin/zkServer.sh start /export/servers/zookeeper-3.4.9/bin/zkServer.sh status 查看状态 /export/servers/zookeeper-3.4.9/bin/zkServer.sh stop 关闭 在node01执行启动hadoop操作: cd /export/servers/ha
Hadoop完全分布式环境搭建.docx
02-17
hadoop环境搭建，适用于工作人士，学生党，过程简单易懂。
Hadoop完全分布式环境搭建步骤
06-11
Hadoop完全分布式环境搭建文档，绝对原创，并且本人亲自验证并使用，图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤，条例格式清楚，不能成功的，请给我留言!将给与在线支持！
【Hadoop篇02】Hadoop完全分布式环境搭建1
08-04
优于别人，并不高贵，真正的高贵应该是优于过去的自己Hadoop完全分布式环境搭建编写分发文件脚本应用场景如下：比如有三台主机master1,slave1,sla
HADOOP 集群搭建
woshiuhhhh的博客
07-07 731
hadoop搭建超详细
Hadoop集群搭建（完全分布式）
qq_45537574的博客
03-21 577
文章目录一、安装准备工作二、安装1.关闭防火墙2、修改主机名和hosts3、安装包解压4.配置环境变量5、修改Hadoop配置6、同步slave1节点和slave2节点三、启动准备四、启动访问 一、安装准备工作 1、虚拟机准备（centos7） master : 192.168.220.134 slave1 : 192.168.220.135 slave2 : 192.168.220.136 2、安装包准备（百度网盘下载） Jdk1.8安装包 Hadoop安装包(版本2.9.2--稳定) 链接：ht
Hadoop分布式集群搭建
小刘的博客
10-07 2497
Hadoop分布式集群搭建 环境说明： Hadoop分布式集群架构是主从架构，这里要搭建一个3台服务器的集群 三台centos7主机，其中一个主节点master，两个从节点服务器slave 用户名都为root，主机名分别为master，slave1，slave2 步骤如下： 1.安装CentOS7 创建虚拟机 单击左上角文件→新建虚拟机，创建虚拟机 选择指定的Centos7系统镜像文件 填写虚拟机信息 默认一直下一步即可，之后点击完成系统会自动重启
安装部署Hadoop完全分布式集群（三个节点）超详细
qq_58476985的博客
09-28 3150
8、远程复制：scp ~/.ssh/authorized_keys hadoop@192.168.0.114:~/.ssh/内容：export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0。或者输入sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0。备用复制的路径：/home/hadoop/softwarejdk1.8.0_171。上传jdk，hadoop的 gz包到HadoopMaster的虚拟机里。
Hadoop--Hadoop2.X编译安装和实验--练习2
yyy
07-17 940
1 作业题目 1.  部署Hadoop 2.x，建议尝试64位系统下进行本地编译的安装方式 2.  在Hadoop 1.x上进行探索性的实验研究，以下问题6选2 （1） 能否给web监控界面加上安全机制，怎样实现？抓图过程 （2）模拟namenode崩溃，例如将name目录的内容全部删除，然后通过secondary namenode恢复namenode，抓图实验过程 （3） 怎样改变HD
linux+cp：是否覆盖“,Linux.cp命令总提示是否覆盖
weixin_42220853的博客
05-16 401
关于java对Excel的读取/*注意:读取的Excel文件 请另存为2003版本的Excel,否则可能会报错别忘记导入第三方的jar包*/package com.zzp.ExcelParse;import jxl.Cell;im ...iOS 数据持久化(扩展知识：模糊背景效果和密码保护功能)本篇随笔除了介绍 iOS 数据持久化知识之外,还贯穿了以下内容: (1)自定义 TableView,结合...
hadoop linux环境搭建,Hadoop之完全分布式环境搭建
weixin_42511315的博客
05-04 211
上一篇我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行DataN...
hadoop的一些配置结果截图
weixin_33770878的博客
11-09 584
最近变得懒惰了，文字太多需要写，去了趟华山，累得不行，上图吧 HDFS 内容目录 本文转自andylhz 51CTO博客，原文链接：http://blog.51cto.com/andylhz2009/1020284，如需转载请自行联系原作者 ...
Hadoop学习
m0_45314682的博客
04-01 918
Hadoop的安转 一 、准备工作 1、设置静态地址(必须的) 为了防止IP变化集群中的节点无法沟通 输入:ifconfig出现如下情况 输入:ifconfig如果提示找不到命令，请参考博客： 解决办法 连接Xshell，输入ssh和IP地址，在输入用户名(默认时root)和密码(默认时root) sudo vim /etc/sysconfig//network-scripts/ifcfg-ens33 如果提示你找不到命令就参考如下博客 解决办法 执行完成后会进入如下界面输入（：s
hadoop完全分布式的搭建
最新发布
07-10
Hadoop完全分布式集群搭建全过程如下： 1. 安装Java环境：Hadoop是基于Java开发的，因此需要先安装Java环境。 2. 下载Hadoop：从官网下载Hadoop的最新版本。 3. 配置Hadoop环境变量：将Hadoop的bin目录添加到系统环境变量中。 4. 配置Hadoop集群：编辑Hadoop的配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等。 5. 配置SSH免密登录：在所有节点上配置SSH免密登录，以便Hadoop集群中的各个节点之间可以互相通信。 6. 格式化HDFS：在NameNode节点上执行hadoop namenode -format命令，格式化HDFS文件系统。 7. 启动Hadoop集群：在NameNode节点上执行start-all.sh命令，启动Hadoop集群。 8. 验证Hadoop集群：通过Web界面或命令行工具验证Hadoop集群是否正常运行。 以上就是Hadoop完全分布式集群搭建的全过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值