Hadoop集群安装及其配置（三台虚拟机）

已于 2022-03-20 09:46:16 修改
阅读量7k 收藏 48
点赞数 17
分类专栏： Hadoop Linux 文章标签： hadoop mapreduce hdfs 大数据 后端
于 2021-03-15 00:56:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47433566/article/details/114806444
版权

Hadoop集群安装及其配置（三台虚拟机）

利安装配置前准备——安装虚拟机

首先我们要准备三台虚拟机，分别为第一台主机Cat、第二台Dog、第三台Pig。

这里接上提前我写好的虚拟机安装配置的文章：Centos7虚拟机的安装配置——这是文莉吖，点击这个链接进入。

还需准备第三方链接工具Xshell，点击这个链接进入官网下载，Xshell官网地址。

利用cat查看配置文件

这里开始呢我们会着重讲主机Hadoop安装配置的过程，其他两台虚拟机有修改地方的过程也有包揽其中。

> cat 文件名   //cat查看文件的语法

找不到文件时可以利用find命令查找

命令描述
Find / -name 目标名全盘搜索，也可以指定目录搜索(有大小写区分)
Find / -iname 目标名不区分大小写
Find / -name *目标名* （区分大小写）Find / -iname *目标名* （不区分大小写）匹配包含目标文件的相关文件
Find /-用户名 目标名查找属于用户名为目标文件名的文件
Find 搜索目录 -type d查找某个目录下的所有目录

在第一台主机Cat上创建3个目录分别为：

> mkdir -p /export/data       //放置相关的数据文件    
> mkdir -p /export/servers     //软件的安装目录
> mkdir -p /export/software    //放置软件包

查看是否创建：

> cd /export/    
> ls

修改主机名称

命令：

> hostname 新的主机名  //临时修改  
> hostnamectl set-hostname 新的主机名    //永久修
> hostname //查看主机名

> vi /etc/sysconfig/network     //三台虚拟机都要修改,这里我们的主机名为Cat

提示：sudo hostname 新名称（只是临时修改主机名，重启后还会变为旧主机名）

>  sudo vim /etc/hostname     //永久修改主机名

进入这个页面后按i进行编写，每一个文件编写好后都需要按Esc，然后:wq保存且推出。（wq一定要小写）
在这里插入图片描述

配置IP映射

首先我们要配好虚拟机和Windows上的网络设置，没弄好的话虚拟机就无法ping通网络。按图片的步骤来。

我们先设置虚拟机上的网络配置，如图。
在这里插入图片描述

然后我们再设置Windows上的网络配置，如图。

在这里插入图片描述
下面接着修改虚拟机中的网络配置文件/etc/hosts

> vi /etc/hosts       //三虚拟机都要设置相同的内容

如果不知道虚拟机的IP地址就在命令行里输入ifconfig查看IP地址，图片中IP地址后面紧跟着的是三台虚拟机IP地址对应的主机名。

按i进行编写，每一个文件编写好后都需要按Esc，然后:wq保存且推出。
在这里插入图片描述

配置网卡设备的mac地址

如何查看MAC地址

鼠标选中对应的想要查看虚拟机——设置——网络适配器——高级

在这里插入图片描述
配置静态IP地址：

> vi /etc/sysconfig/network-scripts/ifcfg-ens33      （每台虚拟机都要改为相同的内容）

BOOTPROTO改为static，IPADDR改为对应虚拟机的IP地址（这里我们配置的是Cat的IP地址）

按i进行编写，每一个文件编写好后都需要按Esc，然后:wq保存且推出。
在这里插入图片描述
网络配置好后 检验

> reboot     //重启      
> ifconfig     //查看ip

这里我们可以看见Cat的IP地址为192.168.72.128
这里我们可以看见IP地址为192.168.72.128

> ping www.baidu.com    检查是否能连外网(Ctrl+z停止)

Ctrl+Z停止ping
在这里插入图片描述

Xshell的安装与配置

文章首页我们说了要进入Xshell官网地址下载Xshell6，连接前我们得把需要进行连接的虚拟机打开，才能能进行连接。
Xshell安装好后，进行连接，如下图操作。在这里插入图片描述

然后设置用户和密码，如图一定要记得勾上记住用户和密码。
在这里插入图片描述

在这里插入图片描述
点击确定后，我们就成功连接了。在第三方工具中来配置虚拟机会快上很多，虚拟机里不能复制粘贴，第三方工具中是可以的。扩展，当我们需要把Windows上的软件安装到虚拟机时，也可以用上第三方软件Xftp6，它是与Xshell6配套的第三方连接工具，连接方法都差不多，进入Xftp6官网安装Xftp6后，只需在Xftp6里找到要上传至虚拟机上安装包，将它拖到虚拟机里想要存放的路径里即可。

在这里插入图片描述

ssh的配置

通过配置ssh服务来实现远程登录和免密登录

> rpm -qa | grep ssh          检查是否安装ssh

在这里插入图片描述

> ps -e | grep sshd

在这里插入图片描述
若没有安装ssh 输入yum install openssh-server

配置免密登录：

  1. ssh-keygen -t rsa(三台虚拟机都要输入这个命令)
  2. 拷贝公钥到同一台虚拟机ssh-copy-id Bear(三台虚拟机都输入这个命令，不需要修改任何字母)
  3. 复制放置公钥的文件给其他虚拟机
>  scp /root/.ssh/authorized_keys Dog:/root/.ssh  
>  scp /root/.ssh/authorized_keys Pig:/root/.ssh
  1. 测试是否成功cd .ssh后输入命令 ssh+主机名（每台都要测试，都要能免密登上）

在这里插入图片描述

JDK的安装配置

JDK的安装

Hadoop集群的使用依赖于Java环境，因此需要先安装并配置JDK

以下命令是下载一个rz的插件，下载好后在命令行里输入rz便会跳出一个界面框，选择你要从Windows传入虚拟机的文件（这里指的JDK）

如果没有安装详细步骤 ：

> yum install lrzszcd -y             //下载rz 
> cd /export/software 
> rz    //输入后会跳出此电脑界面

传入JDK后进行解压命名

> cd /export/software  //上传JDK到/export/software路径下，并解压 
> tar -zxvf jdk-8u162-linux-x64.tar.gz -C /export/servers/  //进行解压
> mv jdk1.8.0_162 jdk   //对jdk重命名
> cd /export/servers/    //查看jdk

在这里插入图片描述

配置JDK环境变量

vi /etc/profile

添加如下内容：

export JAVA_HOME=/export/servers/jdk   //这儿写虚拟机中jdk安装的路径，我的在/export/servers下面
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

点击ｉ进入输入模式,在最后面添加,java路径是之前安装的路径（这个路径在后面安装Hadoop集群时候会用到）,可以根据安装的进行修改

编辑完成,按键盘上的"esc“退出编辑模式,然后输入”:wq" 保存并退出( : 别忘记)

编辑保存好后

> source /etc/profile               //重启使/etc/profile文件生效

在这里插入图片描述

jdk的环境验证

>  java -version

在这里插入图片描述

Hadoop安装及配置

Hadoop安装

将Hadoop安装包上传到/export/software目录

> cd /export/software

完整路径：cd /export/servers/hadoop/etc/hadoop/

详细步骤：

> rz -E           //上传Hadoop安装包 
> ls 
> tar -zxvf hadoop-2.7.7.tar.gz -C
> /export/servers/   //解压 
> cd /export/servers/ 
> ls 
> mv hadoop-2.7.7 hadoop //重命名在这里插入代码片

在这里插入图片描述

配置Hadoop系统环境变量

vi /etc/profile

添加内容如下：

export HADOOP_HOME=/export/servers/Hadoop   //同上这里写Hadoop的安装路径
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

在这里插入图片描述

> source /etc/profile             //重启文件
> hadoop version              //查看是否安装好

在这里插入图片描述

hadoop集群主要配置文件

在这里插入图片描述

修改Hadoop配置文件

修改Hadoop的配置文件必须进入到hadoop安装路径下etc文件夹中的hadoop下进行编写，否则会找不到这个文件，虚拟机会自动在其他路径下创建一个新的文件，写好后也无用。

修改hadoop-env.sh文件

vi hadoop-env.sh

具体操作步骤

> cd /export/servers/hadoop/etc/hadoop/  //在安装路径中找到hadoop下etc文件夹中的hadoop
> vi hadoop-env.sh

添加如下内容：

export JAVA_HOME=/export/servers/jdk  //jdk的安装路径

在这里插入图片描述

修改core-site.xml文件

vi core-site.xml

添加内容如下：

<configuration>
	<property>
				<name>fs.defaultFS</name>
                <value>hdfs://Cat:9000</value> #这里固定写主机名，我的是Cat
	</property>
	<property>
                <name>hadoop.tmp.dir</name>
				<value>/export/servers/hadoop/tmp</value> #这里的路径为虚拟机Hadoop里的tmp目录的路径，内容因自己虚拟机的路径而变
	</property>
</configuration>

在这里插入图片描述

修改hdfs-site.xml文件

vi hdfs-site.xml

添加的内容如下：

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Dog:50090</value> #这里改为第二台虚拟机的名字，我的是Dog
        </property>
</configuration>

在这里插入图片描述

修改mapred-site.xml文件

这里我们首先需要拷贝下mapred-site.xml.template文件，命名为mapred-site.xml

> cp mapred-site.xml.template mapred-site.xml

然后再对cp的文件进行修改

vi mapred-site.xml

添加的内容如下：

<configuration>
<!--指定MapReduce运行时的框架，这里指定在Yarn上，默认时local-->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

在这里插入图片描述

修改yarn-site.xml文件

vi yarn-site.xml

添加的内容如下：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Cat</value> #这里写主机名，其他内容不变
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

在这里插入图片描述

修改/etc/hosts文件

vi /etc/hosts

添加的内容如下（IP地址+主机名）：

192.168.72.128 Cat
192.168.72.129 Dog
192.168.72.130 Pig

在这里插入图片描述

修改slaves文件

vi slaves

打开该配置文件，先删除里面的内容（默认localhost）,然后配置如下内容：

Cat
Dog
Pig             （内容为自己三台虚拟机的主机名）

步骤

>cd /export/servers/hadoop/etc/hadoop/ 
>vi slaves

在这里插入图片描述

将集群主节点的配置文件分发到其他子节点

> scp /etc/profile Dog:/etc/profile
> scp /etc/profile Pig:/etc/profile
> scp -r /export/ Dog:/ 
> scp -r /export/ Pig:/

在Dog虚拟机和Pig虚拟机上分别执行

>  source /etc/profile      //使分发的文件生效

格式化文件系统（在主节点上执行。即Cat这台虚拟机上执行）

> hdfs namenode -format

（格式化文件系统这个操作只能在第一次启动hdfs集群时来操作，后面不能再进行格式化）

启动和关闭Hadoop集群

启动和关闭Hadoop集群：包含HDFS集群和YARN两个集群框架

启动有两种方式：

  • 单节点逐个启动
  1. 在Cat上启动namenode
> hadoop-daemon.sh start namenode
  1. 三台虚拟机上启动datanode
>  hadoop-daemon.sh start datanode
  1. 在Cat和Dog上启动resourcemanager
> yarn-daemon.sh start resourcemanager
  1. 三台虚拟机上启动nodemanager
>  yarn-daemon.sh start nodemanager
  1. 在Cat上启动namenode
> hadoop-daemon.sh start secondarynamenode
  1. 使用jps查看是否全部开启
Cat有5个，Dog有4个，Pig有3个
  1. 逐条关闭把start换为stop即可
  • 使用脚本一键启动（在主机Cat上执行）
  1. start-dfs.sh或stop-dfs.sh启动或关闭所有HDFS服务进程
  2. start-yarn.sh或stop-yarn.sh启动或关闭所有YARN服务进程
  3. start-all.sh或stop-all.sh指令，直接启动或关闭整个Hadoop集群服务

第一台主机Cat上显示的五个进程，jps查看
在这里插入图片描述
第二台虚拟机Dog上显示的四个进程，jps查看
在这里插入图片描述
第三台虚拟机Pig上显示的三个进程，jps查看

在这里插入图片描述

Hadoop集群测试

访问50070端口

在浏览器访问Cat:50070或者192.168.72.128:50070（格式为：主机名或IP地址+端口号）查看HDFS集群状态
在这里插入图片描述

虚拟机关闭防火墙

虚拟机关闭防火墙 （三台虚拟机都要关闭）

centos6版本的为：

> service iptables stop       //关闭防火墙
> chkconfig iptables off      //禁止开机启动

centos7版本的为：

> systemctl stop firewalld     //关闭防火墙 
> service start firewalld		//开启防火墙   
> systemctl disable firewalld   //禁止开机启动防火墙

若在关闭防火墙命令会出现如下错误：
在这里插入图片描述
若安装了iptables-service,可以使用如下命令

> yum install -y iptables-services     //安装iptables-service
> systemctl stop firewalld     //关闭防火墙
> systemctl status firewalld            //检查防火墙的状态

在这里插入图片描述

访问8088端口

去浏览器搜索Cat:8088或者192.168.72.128:8088（格式为：主机名或IP地址+端口号）可查看YARN集群管理页面
在这里插入图片描述
到这里就大功告成了，记得点个关注和赞哦！！！！！！mua

这是文莉吖
关注
  • 17
    点赞
  • 踩
  • 48
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop原理与调优
weixin_43160819的博客
07-27 1039
一. Hadoop集群搭建 本地搭建hadoop集群至少要三台机器，因为之后还要搭建zookeeper，kafka之类的，涉及到master选举，所以除了1以外最小的基数就是3。 另外关于虚拟机内存硬盘设置，这里建议，如果日后想在本机搭建数仓，尤其是要安装一大堆hive，hbase，kylin/presto/druid，抑或是想装上solr/Elasticsearch做分布式搜索引擎的，内存倒还好，给个6-8个g左右都没啥问题，关键是硬盘要给的充足，有条件的升个40-50G左右（时常清理日志和没用的安装包也
linuxhadoop搭建手册以及三种集群模式配置
07-23
资源名称：linux hadoop搭建手册以及三种集群模式配置内容简介：        linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式，分别为单机模式，伪分布模式，完全分布式模式。单机模式和伪分布式模式的配置基本相同，本文档将重点介绍，在此基础上给出完全分布式模式搭建还需要的工作。有需要的朋友可以下载 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Hadoop分布式集群搭建（三台虚拟机）
weixin_53426897的博客
07-12 3737
搭建hadoop集群完整教程（一步步手把手教你搭建），新建一台虚拟机hadoop01并克隆hadoop02、hadoop03两台虚拟机，配置虚拟机网络，进行配置文件的修改，完成搭建hadoop的分布式集群。
Hadoop高可用集群搭建(实操、干货)
跳蛙pass的博客
07-07 484
Hadoop 一、HDFS-HA 集群配置 1.1 配置 HDFS-HA 集群 1.官方地址：http://hadoop.apache.org/ 2.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布 式环境已经安装完成。 hadoop102 hadoop103 JournalNode JournalNode 3.在 hadoop102 配置 core-site.xml <configuration> <!-- 把两个 N
hadoop2.4.1三台机器分布式安装
04-04
集群规划： 主机名 IP 安装的软件 运行的进程 weekend01 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend02 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend03 192.168.1.203 jdk、hadoop ResourceManager weekend04 192.168.1.204 jdk、hadoop ResourceManager weekend05 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain weekend06 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain weekend07 192.168.1.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain 说明： 1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务 仅同步active namenode的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据 信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态 2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个 是Standby，状态由zookeeper进行协调
Hadoop单机伪分布完全分布实验文档
04-10
hadoop三个实验相关操作文档，还有云计算的现有技术介绍的ppt
hadoop-3.2.1.zip
05-17
提供官方所发布的最新的hadoop框架压缩包，hadoop-3.2.1.zip，应用于配置集群环境，分布式、伪分布式和单机这三种环境。
hadoop启动namenode后，jps找不到对应进程
OUCFSB的博客
05-29 2731
这个问题查了下，原因有很多，我本次也遇到了该问题，记录下以后回头查。 问题描述：启动namenode第一次启动失败，第二次成功，第二次后可以jps查找到namenode。但启动datanode后，jps只有一个datanode，找不到namenode。 解决思路：去hadoop安装路径下的log文件夹内，找到对应的namenode的log文件，查看原因。 问题解决：我发现日志提示的问题是端口被占用...
hadoop虚拟机搭建步骤
qq_51014165的博客
08-15 987
将jdk和hadoop的安装包分别放到虚拟机指定目录（放在哪里都可以，可以复制，最好是放在hadoop的家目录或者自己定义的目录，后续设置环境变量时要用），三个都要做同样的操作。在用户设置界面设置root账号密码和普通用户账号及密码，为了方便后续操作，三个虚拟机root账号密码均设置为root，普通用户用户名均为hadoop，密码也为hadoop。将java安装包复制到指定目录（可以是任何地方，教材上在用户的家目录，也可以自己制定，比如在usr目录中新建一个目录等，都可以）
Hadoop的HA集群启动和停止流程
weixin_34056162的博客
01-01 388
假设我们有3台虚拟机，主机名分别是hadoop01、hadoop02和hadoop03。 这3台虚拟机的Hadoop的HA集群部署计划如下： 　　　　 3台虚拟机的Hadoop的HA集群部署计划 hadoop01 zookeeper journalnode nodemanager datanode resourcemanager namenode zkfc ...
RedHatlinux下安装hadoop
07-23
资源名称：RedHat linux下安装hadoop内容简介：           hadoop安装有三种模式：单机模式，伪分布式，完全分布式。本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的朋友可以过来看看。           Hadoop是一个由Apache基金会所开发的分布式系统基础架构。      资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
安装hadoop集群三台虚拟机
02-17
hadoop集群三台虚拟机的安装配置
Cloudera Hadoop 集群安装(三台机器)
01-07
简述：Hadoop的安装对环境有比较高的要求，需要比较大的内存，一般的机器很难满足，一个人也很难有两三台独立的主机，所以只能选择使用安装虚拟机的方式安装，但是主机的内存需要在8G以上。如果小于8G可以扩展内存后...
完全分布式模式的Hadoop集群安装
03-22
Linux操作系统下，使用三台虚拟机搭建Hadoop集群，包括实验环境变量的配置，Hadoop集群的安装及测试详细步骤。
Hadoop集群安装
12-12
Hadoop 0.2.0版本得安装（实验环境），已经测试过了，放心使用，安装环境：三台linux 5.5（Redhat）版本虚拟机。如有疑问欢迎留言
虚拟机下安装Hadoop集群(1Master+2Slaves)
07-24
在虚拟机Vmware环境下安装Hadoop集群，1个master + 2个Slaves，个人PC机上安装
多机器安装hadoop集群
qq_38999072的博客
08-22 360
多机器安装hadoop集群
Hadoop集群部署（三个节点）
打杂员工的博客
06-26 3229
一、搭建Hadoop3.X 1.1 配置服务器 1个主节点：centos100(192.168.65.128)， 2个（从）子节点：centos101(192.168.65.129)，centos102(192.168.65.130) 1.2 配置主节点名 192.168.65.128 vi /etc/sysconfig/network 添加内容： NETWORKING=yes...
hadoop安装与配置 非虚拟机
最新发布
09-13
为了安装和配置Hadoop，您可以按照以下步骤进行操作： 1. 下载Hadoop: 首先，您需要从Hadoop官方网站下载最新的Hadoop软件包并解压缩。 2. 配置环境变量: 打开`hadoop-env.sh`文件，这个文件位于Hadoop的配置目录中。您可以使用文本编辑器打开这个文件，比如使用`vi`命令： ``` vi hadoop-env.sh ``` 在这个文件中，您可以设置和调整Hadoop的环境变量，比如设置Java的路径、Hadoop的heap大小等。完成之后保存并关闭文件。 3. 配置Hadoop: 进入Hadoop的配置目录，通常是`/usr/local/hadoop/etc/hadoop`。在这个目录下，您可以找到一些重要的配置文件，如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`。您可以使用文本编辑器打开这些文件，并根据您的需求进行修改配置。比如，您可以设置Hadoop的文件系统类型、数据块大小、副本数量等。完成之后保存并关闭文件。 4. 启动Hadoop: 使用`start-all.sh`脚本来启动Hadoop 。这个脚本将启动Hadoop的各个组件，包括HDFS、YARN和MapReduce。您需要以管理员身份运行这个脚本。 ``` start-all.sh ``` 在启动之后，您可以通过访问Hadoop的Web界面来验证Hadoop的运行状态，比如`http://localhost:50070`可以访问HDFS界面，`http://localhost:8088`可以访问YARN界面。 这些步骤将帮助您安装和配置Hadoop。请注意，具体的步骤可能因您使用的操作系统和Hadoop版本而有所不同。确保仔细阅读Hadoop官方文档以获取最准确的安装和配置指南。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值