Hadoop集群安装及其配置（三台虚拟机）

已于 2022-03-20 09:46:16 修改
阅读量8.3k 收藏 58
点赞数 21
分类专栏： Hadoop Linux 文章标签： hadoop mapreduce hdfs 大数据 后端
于 2021-03-15 00:56:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47433566/article/details/114806444
版权

Hadoop集群安装及其配置（三台虚拟机）

利安装配置前准备——安装虚拟机

首先我们要准备三台虚拟机，分别为第一台主机Cat、第二台Dog、第三台Pig。

这里接上提前我写好的虚拟机安装配置的文章：Centos7虚拟机的安装配置——这是文莉吖，点击这个链接进入。

还需准备第三方链接工具Xshell，点击这个链接进入官网下载，Xshell官网地址。

利用cat查看配置文件

这里开始呢我们会着重讲主机Hadoop安装配置的过程，其他两台虚拟机有修改地方的过程也有包揽其中。

> cat 文件名   //cat查看文件的语法

找不到文件时可以利用find命令查找

命令描述
Find / -name 目标名全盘搜索，也可以指定目录搜索(有大小写区分)
Find / -iname 目标名不区分大小写
Find / -name *目标名* （区分大小写）Find / -iname *目标名* （不区分大小写）匹配包含目标文件的相关文件
Find /-用户名 目标名查找属于用户名为目标文件名的文件
Find 搜索目录 -type d查找某个目录下的所有目录

在第一台主机Cat上创建3个目录分别为：

> mkdir -p /export/data       //放置相关的数据文件    
> mkdir -p /export/servers     //软件的安装目录
> mkdir -p /export/software    //放置软件包

查看是否创建：

> cd /export/    
> ls

修改主机名称

命令：

> hostname 新的主机名  //临时修改  
> hostnamectl set-hostname 新的主机名    //永久修
> hostname //查看主机名

> vi /etc/sysconfig/network     //三台虚拟机都要修改,这里我们的主机名为Cat

提示：sudo hostname 新名称（只是临时修改主机名，重启后还会变为旧主机名）

>  sudo vim /etc/hostname     //永久修改主机名

进入这个页面后按i进行编写，每一个文件编写好后都需要按Esc，然后:wq保存且推出。（wq一定要小写）
在这里插入图片描述

配置IP映射

首先我们要配好虚拟机和Windows上的网络设置，没弄好的话虚拟机就无法ping通网络。按图片的步骤来。

我们先设置虚拟机上的网络配置，如图。
在这里插入图片描述

然后我们再设置Windows上的网络配置，如图。

在这里插入图片描述
下面接着修改虚拟机中的网络配置文件/etc/hosts

> vi /etc/hosts       //三虚拟机都要设置相同的内容

如果不知道虚拟机的IP地址就在命令行里输入ifconfig查看IP地址，图片中IP地址后面紧跟着的是三台虚拟机IP地址对应的主机名。

按i进行编写，每一个文件编写好后都需要按Esc，然后:wq保存且推出。
在这里插入图片描述

配置网卡设备的mac地址

如何查看MAC地址

鼠标选中对应的想要查看虚拟机——设置——网络适配器——高级

在这里插入图片描述
配置静态IP地址：

> vi /etc/sysconfig/network-scripts/ifcfg-ens33      （每台虚拟机都要改为相同的内容）

BOOTPROTO改为static，IPADDR改为对应虚拟机的IP地址（这里我们配置的是Cat的IP地址）

按i进行编写，每一个文件编写好后都需要按Esc，然后:wq保存且推出。
在这里插入图片描述
网络配置好后 检验

> reboot     //重启      
> ifconfig     //查看ip

这里我们可以看见Cat的IP地址为192.168.72.128
这里我们可以看见IP地址为192.168.72.128

> ping www.baidu.com    检查是否能连外网(Ctrl+z停止)

Ctrl+Z停止ping
在这里插入图片描述

Xshell的安装与配置

文章首页我们说了要进入Xshell官网地址下载Xshell6，连接前我们得把需要进行连接的虚拟机打开，才能能进行连接。
Xshell安装好后，进行连接，如下图操作。在这里插入图片描述

然后设置用户和密码，如图一定要记得勾上记住用户和密码。
在这里插入图片描述

在这里插入图片描述
点击确定后，我们就成功连接了。在第三方工具中来配置虚拟机会快上很多，虚拟机里不能复制粘贴，第三方工具中是可以的。扩展，当我们需要把Windows上的软件安装到虚拟机时，也可以用上第三方软件Xftp6，它是与Xshell6配套的第三方连接工具，连接方法都差不多，进入Xftp6官网安装Xftp6后，只需在Xftp6里找到要上传至虚拟机上安装包，将它拖到虚拟机里想要存放的路径里即可。

在这里插入图片描述

ssh的配置

通过配置ssh服务来实现远程登录和免密登录

> rpm -qa | grep ssh          检查是否安装ssh

在这里插入图片描述

> ps -e | grep sshd

在这里插入图片描述
若没有安装ssh 输入yum install openssh-server

配置免密登录：

  1. ssh-keygen -t rsa(三台虚拟机都要输入这个命令)
  2. 拷贝公钥到同一台虚拟机ssh-copy-id Bear(三台虚拟机都输入这个命令，不需要修改任何字母)
  3. 复制放置公钥的文件给其他虚拟机
>  scp /root/.ssh/authorized_keys Dog:/root/.ssh  
>  scp /root/.ssh/authorized_keys Pig:/root/.ssh
  1. 测试是否成功cd .ssh后输入命令 ssh+主机名（每台都要测试，都要能免密登上）

在这里插入图片描述

JDK的安装配置

JDK的安装

Hadoop集群的使用依赖于Java环境，因此需要先安装并配置JDK

以下命令是下载一个rz的插件，下载好后在命令行里输入rz便会跳出一个界面框，选择你要从Windows传入虚拟机的文件（这里指的JDK）

如果没有安装详细步骤 ：

> yum install lrzszcd -y             //下载rz 
> cd /export/software 
> rz    //输入后会跳出此电脑界面

传入JDK后进行解压命名

> cd /export/software  //上传JDK到/export/software路径下，并解压 
> tar -zxvf jdk-8u162-linux-x64.tar.gz -C /export/servers/  //进行解压
> mv jdk1.8.0_162 jdk   //对jdk重命名
> cd /export/servers/    //查看jdk

在这里插入图片描述

配置JDK环境变量

vi /etc/profile

添加如下内容：

export JAVA_HOME=/export/servers/jdk   //这儿写虚拟机中jdk安装的路径，我的在/export/servers下面
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

点击ｉ进入输入模式,在最后面添加,java路径是之前安装的路径（这个路径在后面安装Hadoop集群时候会用到）,可以根据安装的进行修改

编辑完成,按键盘上的"esc“退出编辑模式,然后输入”:wq" 保存并退出( : 别忘记)

编辑保存好后

> source /etc/profile               //重启使/etc/profile文件生效

在这里插入图片描述

jdk的环境验证

>  java -version

在这里插入图片描述

Hadoop安装及配置

Hadoop安装

将Hadoop安装包上传到/export/software目录

> cd /export/software

完整路径：cd /export/servers/hadoop/etc/hadoop/

详细步骤：

> rz -E           //上传Hadoop安装包 
> ls 
> tar -zxvf hadoop-2.7.7.tar.gz -C
> /export/servers/   //解压 
> cd /export/servers/ 
> ls 
> mv hadoop-2.7.7 hadoop //重命名在这里插入代码片

在这里插入图片描述

配置Hadoop系统环境变量

vi /etc/profile

添加内容如下：

export HADOOP_HOME=/export/servers/Hadoop   //同上这里写Hadoop的安装路径
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

在这里插入图片描述

> source /etc/profile             //重启文件
> hadoop version              //查看是否安装好

在这里插入图片描述

hadoop集群主要配置文件

在这里插入图片描述

修改Hadoop配置文件

修改Hadoop的配置文件必须进入到hadoop安装路径下etc文件夹中的hadoop下进行编写，否则会找不到这个文件，虚拟机会自动在其他路径下创建一个新的文件，写好后也无用。

修改hadoop-env.sh文件

vi hadoop-env.sh

具体操作步骤

> cd /export/servers/hadoop/etc/hadoop/  //在安装路径中找到hadoop下etc文件夹中的hadoop
> vi hadoop-env.sh

添加如下内容：

export JAVA_HOME=/export/servers/jdk  //jdk的安装路径

在这里插入图片描述

修改core-site.xml文件

vi core-site.xml

添加内容如下：

<configuration>
	<property>
				<name>fs.defaultFS</name>
                <value>hdfs://Cat:9000</value> #这里固定写主机名，我的是Cat
	</property>
	<property>
                <name>hadoop.tmp.dir</name>
				<value>/export/servers/hadoop/tmp</value> #这里的路径为虚拟机Hadoop里的tmp目录的路径，内容因自己虚拟机的路径而变
	</property>
</configuration>

在这里插入图片描述

修改hdfs-site.xml文件

vi hdfs-site.xml

添加的内容如下：

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Dog:50090</value> #这里改为第二台虚拟机的名字，我的是Dog
        </property>
</configuration>

在这里插入图片描述

修改mapred-site.xml文件

这里我们首先需要拷贝下mapred-site.xml.template文件，命名为mapred-site.xml

> cp mapred-site.xml.template mapred-site.xml

然后再对cp的文件进行修改

vi mapred-site.xml

添加的内容如下：

<configuration>
<!--指定MapReduce运行时的框架，这里指定在Yarn上，默认时local-->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

在这里插入图片描述

修改yarn-site.xml文件

vi yarn-site.xml

添加的内容如下：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Cat</value> #这里写主机名，其他内容不变
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

在这里插入图片描述

修改/etc/hosts文件

vi /etc/hosts

添加的内容如下（IP地址+主机名）：

192.168.72.128 Cat
192.168.72.129 Dog
192.168.72.130 Pig

在这里插入图片描述

修改slaves文件

vi slaves

打开该配置文件，先删除里面的内容（默认localhost）,然后配置如下内容：

Cat
Dog
Pig             （内容为自己三台虚拟机的主机名）

步骤

>cd /export/servers/hadoop/etc/hadoop/ 
>vi slaves

在这里插入图片描述

将集群主节点的配置文件分发到其他子节点

> scp /etc/profile Dog:/etc/profile
> scp /etc/profile Pig:/etc/profile
> scp -r /export/ Dog:/ 
> scp -r /export/ Pig:/

在Dog虚拟机和Pig虚拟机上分别执行

>  source /etc/profile      //使分发的文件生效

格式化文件系统（在主节点上执行。即Cat这台虚拟机上执行）

> hdfs namenode -format

（格式化文件系统这个操作只能在第一次启动hdfs集群时来操作，后面不能再进行格式化）

启动和关闭Hadoop集群

启动和关闭Hadoop集群：包含HDFS集群和YARN两个集群框架

启动有两种方式：

  • 单节点逐个启动
  1. 在Cat上启动namenode
> hadoop-daemon.sh start namenode
  1. 三台虚拟机上启动datanode
>  hadoop-daemon.sh start datanode
  1. 在Cat和Dog上启动resourcemanager
> yarn-daemon.sh start resourcemanager
  1. 三台虚拟机上启动nodemanager
>  yarn-daemon.sh start nodemanager
  1. 在Cat上启动namenode
> hadoop-daemon.sh start secondarynamenode
  1. 使用jps查看是否全部开启
Cat有5个，Dog有4个，Pig有3个
  1. 逐条关闭把start换为stop即可
  • 使用脚本一键启动（在主机Cat上执行）
  1. start-dfs.sh或stop-dfs.sh启动或关闭所有HDFS服务进程
  2. start-yarn.sh或stop-yarn.sh启动或关闭所有YARN服务进程
  3. start-all.sh或stop-all.sh指令，直接启动或关闭整个Hadoop集群服务

第一台主机Cat上显示的五个进程，jps查看
在这里插入图片描述
第二台虚拟机Dog上显示的四个进程，jps查看
在这里插入图片描述
第三台虚拟机Pig上显示的三个进程，jps查看

在这里插入图片描述

Hadoop集群测试

访问50070端口

在浏览器访问Cat:50070或者192.168.72.128:50070（格式为：主机名或IP地址+端口号）查看HDFS集群状态
在这里插入图片描述

虚拟机关闭防火墙

虚拟机关闭防火墙 （三台虚拟机都要关闭）

centos6版本的为：

> service iptables stop       //关闭防火墙
> chkconfig iptables off      //禁止开机启动

centos7版本的为：

> systemctl stop firewalld     //关闭防火墙 
> service start firewalld		//开启防火墙   
> systemctl disable firewalld   //禁止开机启动防火墙

若在关闭防火墙命令会出现如下错误：
在这里插入图片描述
若安装了iptables-service,可以使用如下命令

> yum install -y iptables-services     //安装iptables-service
> systemctl stop firewalld     //关闭防火墙
> systemctl status firewalld            //检查防火墙的状态

在这里插入图片描述

访问8088端口

去浏览器搜索Cat:8088或者192.168.72.128:8088（格式为：主机名或IP地址+端口号）可查看YARN集群管理页面
在这里插入图片描述
到这里就大功告成了，记得点个关注和赞哦！！！！！！mua

这是文莉吖
关注
专栏目录
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2830
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
Hadoop集群建立三：三台虚拟机信任互联通信
chen_0115的博客
10-17 573
生成密钥私钥 1、su hadoop 2、（在Hadoop01上）ssh-keygen -t rsa 三回车 3、查看 cd /home/hadoop/.ssh 4、在hadoop02与Hadoop03进行步骤1-3 5.（在hadoop02的hadoop）touch authorized_keys 6、（在hadoop01) scp id_rsa.pub hadoop@192.168.20.112:/home/hadoop/.ssh/id_rsa.pub1 7、（在...
安装hadoop集群三台虚拟机
02-17
hadoop集群三台虚拟机的安装配置
Hadoop搭建三台虚拟机
热门推荐
大数据记录
10-31 1万+
分布式环境搭建 一：上传压缩包并加压 解压 tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 二：查看Hadoop压缩方式 cd /export/servers/hadoop-2.6.0-cdh5.14.0 bin/hadoop checknative ...
hadoop高可用的安装--3台虚拟机
weixin_45955039的博客
07-16 747
解压hadoop包 1.解压hadoop包到 /usr/local里面 sudo tar -zxf hadoop-2.7.7.tar.gz -C /usr/local 2.进入到 /usr/local里面，修改名字为hadoop cd /usr/local/ sudo mv ./hadoop-2.7.7/ ./hadoop 3.授权当前用户hadoop拥有该文件夹的所有者权限。 sudo chown -R hadoop ./hadoop 4.查看文件安装路径 pwd 5.配置环境变量 打开 /
Hadoop入门（2）——集群配置
wayblink的博客
04-13 617
准备众所周知Hadoop是分布式存储和计算框架，单机配置的Hadoop不叫Hadoop，集群配置的Hadoop才是真正的Hadoop。所谓集群就是不能少于三台主机，在正式配置之前首先应该明确我想要配置多大的集群，每个主机用来做什么。一般来说最开始都是使用一台master，三台slave的集群，master作为NameNode和ResourceManager，slaves作为DataNode和Node
HadoopHA启动步骤,三台虚拟机启动
好民小张的博客
04-15 417
HadoopHA启动步骤,三台虚拟机启动 1.我这里是三台虚拟机 2.先在每台虚拟机上启动zookeeper和Journalnode zkServer.sh start hadoop-daemon.sh start journalnode 3.然后启动DFS start-dfs.sh 4启动yarn.sh start-yarn.sh 5使用jps查看进程 namenode datanode resourcemanager nodemanager zkfc journalnode zookeepe
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置(1)
2401_84181368的博客
04-30 811
在首台虚拟机创建完成后，可以通过克隆的方式快速创建其他虚拟机。1.右键虚拟机名称，点击管理，选择克隆选项2.点击克隆后，点击下一页3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。4.选择克隆类型，一般为完整克隆5.设置克隆虚拟机的名称以及存放位置6.设置完成后点击完成，克隆结束。
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_84181501的博客
05-06 698
如果无法修改请看另外一篇文章修改每台节点的hosts文件命令为sudo vim /etc/hosts ，依次添加node1，node2，node3。
安装多个centOS虚拟机配置Hadoop集群分布环境时IP地址一样
ZhifanSk的博客
04-20 575
本文示例环境为macOS Catalina使用Parallels 14，但原理适用于Windows（VMware）等其他环境。 虚拟机默认使用
Hadoop的HA集群启动和停止流程
weixin_34056162的博客
01-01 406
假设我们有3台虚拟机，主机名分别是hadoop01、hadoop02和hadoop03。 这3台虚拟机的Hadoop的HA集群部署计划如下： 　　　　 3台虚拟机的Hadoop的HA集群部署计划 hadoop01 zookeeper journalnode nodemanager datanode resourcemanager namenode zkfc ...
虚拟机(3台)搭建Hadoop集群
猴子
03-01 1080
VMware，虚拟机，hadoop3.2.*，集群，常见问题
hadoop2.6.5完全分布式集群搭建
xiaozhuangyumaotao的博客
05-11 792
要搭建起一个hadoop完全分布式集群至少需要3台机器，各个机器上分别运行哪些节点，要运行的节点都有什么，现在梳理如下： 针对上面表格的名词解释： node112: ip 为192.168.28.112的centos7服务器 node113: ip 为192.168.28.113的centos7服务器 node114: ip 为192.168.28.114的centos7服务器 nn:namenode,属于hdfs，相当于hdfs的老大 dn:datanode,属于hdfs，相当于hdfs的
Hadoop集群建立一：VMware安装三台虚拟机
chen_0115的博客
10-17 716
打开文件，点击新建虚拟机 建议安装在空间较大的盘 安装好了之后显示在这里的就是虚拟机名称（如下图是我之前安装的虚拟机） 点击完成就好了。就可以登陆了 按照此方法安装另外两台 注意虚拟机名称要变，其余相同操作 ...
hadoop 3.0 集群部署,超详细-Ali0th
weixin_34072458的博客
04-22 1695
Author : Ali0th Date : 2019-4-22 经过上一篇部署单机 hadoop 之后，开始尝试部署 hadoop 集群。hadoop集群最少需要三台机，因为hdfs副本数最少为3。这里我们使用四台机子进行搭建。 本文尽求详尽，包括所有步骤与问题的解决。可见目录，有对遇到的bug的一些解决方法。可以看到我是如何踩坑过来的。 0.1. 目录 [TOC] 0.2. 环境 Cent...
hadoop集群之虚拟机的搭建（一）
wxc1207的博客
04-13 2186
安装虚拟机是搭建hadoop集群的第一步 我使用的虚拟机时VMware 15（什么版本都一样） CentOS 是6.9，（可能会有些老吧，但是安装步骤大同小异）点击获取 1.创建虚拟机 1.点击创建虚拟机 2.选择自定义，点击下一步 3.列出VMware的一些信息，点击下一步 4.选择 稍后安装操作系统，点击下一步 5. 选择对应的Linux系统，点击下一步（我的是CentOS 6.9...
超详细超简单的搭建三台虚拟机集群
oxygen_ls的博客
10-30 8962
1.vm虚拟机配置 宿主机：真机 NAT模式：（VM虚拟机里面设置） 查看：你的NAT网段和网关是多少？ 网段：192.168.136.0/24 网关：192.168.136.2 我的规划： NN1 192.168.136.200 DN1 192.168.136.201 DN2 192.168.136.202 CETNOS7 NN1 里面配置IP ifconfig 查看网卡的名字--------ens33 root下面运行： ifconfig ens33 192.168.136.200
Hadoop集群搭建常用命令、目录及注意
灿若星辰丶的博客
07-17 6598
目录：（1）/usr/local/hadoop/（2）hadoop配置目录：/usr/local/hadoop/etc/hadoop（3）/usr/local/hadoop/sbin（4）share目录在/usr/local/hadoop下（5）将HDFS所有文件副本数调整为2，数据块大小为512MB：在/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件中修改...
hadoop启动namenode后，jps找不到对应进程
OUCFSB的博客
05-29 2817
这个问题查了下，原因有很多，我本次也遇到了该问题，记录下以后回头查。 问题描述：启动namenode第一次启动失败，第二次成功，第二次后可以jps查找到namenode。但启动datanode后，jps只有一个datanode，找不到namenode。 解决思路：去hadoop安装路径下的log文件夹内，找到对应的namenode的log文件，查看原因。 问题解决：我发现日志提示的问题是端口被占用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值