Hadoop3.x集群搭建及配置的完整操作流程

2021-01-22 14:33:03 29 收藏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lingchen_Liu/article/details/112981956
版权

一、Linux安装及网络配置

1.虚拟机的选择

虚拟机选择的是VMware Workstation Pro16，下载地址https://www.vmware.com/cn.html，自行选择需要的版本，然后正版激活的方式就因钱而异了。

2.系统的选择

系统选择的是基于Linux内核的CentOS7，下载地址http://vault.centos.org/，将iso文件保存在本地任意文件夹内即可。

3.安装CentOS7

具体安装的流程推荐看这篇博客，写的非常细致：https://blog.csdn.net/qq_39135287/article/details/83993574

4.CentOS7基本设置

先完成一台虚拟机的基本配置，作为母虚拟机。
配置hadoop集群至少需要三台虚拟机，这三台虚拟机是通过对母虚拟机的克隆得到的。

4.1母虚拟机的操作

4.1.1修改网络信息

输入：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

//修改以下内容
BOOTPROTO=static  //静态IP地址
ONBOOT=yes        //开机自动启用网络连接
//添加以下内容
IPADDR=192.168.***.1    //设置IP地址
NETMASK=255.255.255.0   //子网掩码
GATEWAY=192.168.***.2   //设置网关（网关是和IP在同一个子字段下的不会被IP使用的地址）
DNS1=192.168.1.1        //DNS设置是根据当前使用的网络决定的

IP设置的规则：三者相同（即保证以下三个地方查看到的IP的前三个网段相同）
1.CentOS7中 /etc/sysconfig/network-scripts/ifcfg-ens33 的IPADDR
2.Windows + R输入cmd进入命令行模式，输入ipconfig查看到的以太网适配器 VMware Network Adapter VMnet8下的IPv4 地址
3.进入VMware依次点击编辑(E)-虚拟网络编辑器(N)-VMnet8(NAT模式)-NAT设置(S)后看到的子网IP，注意这里看到的网关即/etc/sysconfig/network-scripts/ifcfg-ens33中GATEWAY应该设置为的网关

4.1.2永久关闭防火墙

依次输入：

systemctl stop firewalld.service    // 停止firewalld
 
systemctl disable firewalld.service // 禁止开机启动

输入：

vi /etc/sysconfig/selinux

将SELINUX修改为disabled

全部修改完成后输入service network restart重启网络服务，或者直接重启虚拟机，此时母虚拟机的基本配置就完成了。

4.2创建hadoop集群中的三台虚拟机

4.2.1将母虚拟机克隆三份
4.2.1单独配置每台虚拟机的网络（四步）

第一步：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改IPADDR，修改IP以区分不同的虚拟机

第二步：

vi /etc/hostname

修改该主机的名称，以用名称的方式区分不同虚拟机

第三步：

vi /etc/hosts

将三台虚拟机的IP和主机名输入进去
例如：

192.168.11.111 hadoop1
192.168.11.222 hadoop2
192.168.11.333 hadoop3

第四步：
去本机C:\Windows\System32\drivers\etc\hosts把新的虚拟机的IP和主机名添加进去，为了可以在网络上通过主机名找到对应的IP

二、Haoop集群配置

集群的三台机器为hadoop2、3、4

1.创建新用户testman

[root@hadoop1 ~]$ useradd testman
[root@hadoop1 ~]$ passwd testman

2.赋予testman用户root的权限

[root@hadoop1 ~]#vi /etc/sudoers

修改以下内容：

## Allow root to run any commands anywhere
root      ALL=(ALL)     ALL  //原有内容
testman   ALL=(ALL)     ALL  //添加该行

3.在/opt目录操作

在/opt目录下创建module、software文件夹，并修改所有者

[testman@hadoop101 opt]$ sudo mkdir module
[testman@hadoop101 opt]$ sudo mkdir software
[testman@hadoop1 opt]$ sudo chown testman:testman module/ software/

4.安装JDK和Hadoop

使用Xftp，将JDK和Hadoop的安装jar包放进/opt/software中，并解压到/opt/module中

[testman@hadoop1 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
[testman@hadoop1 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

获取JDK和Hadoop的的路径

[testman@hadoop1 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
[testman@hadoop1 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

新建/etc/profile.d/my_env.sh文件并编辑，在文件内加入以下内容：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存退出并让文件生效：

[testman@ hadoop1 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh

测试是否安装成功：

[testman@hadoop1 jdk1.8.0_144]$ java -version
java version "1.8.0_144"
[testman@hadoop1 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

5.拷贝到集群机

在hadoop1上，将hadoop1中/opt/module目录下的软件拷贝到hadoop2、3、4上

[testman@hadoop1 /]$ scp -r /opt/module root@hadoop2:/opt/module
[testman@hadoop1 /]$ scp -r /opt/module root@hadoop3:/opt/module
[testman@hadoop1 /]$ scp -r /opt/module root@hadoop4:/opt/module

在hadoop2、hadoop3、hadoop4上修改所有文件的，所有者和所有者组

sudo chown testman:testman -R /opt/module

hadoop1中/etc/profile.d/my_env.sh文件拷贝到hadoop2、3、4的/etc/profile.d/my_env.sh上

[testman@hadoop1 ~]$ sudo scp /etc/profile.d/my_env.sh root@hadoop2:/etc/profile.d/my_env.sh
[testman@hadoop1 ~]$ sudo scp /etc/profile.d/my_env.sh root@hadoop3:/etc/profile.d/my_env.sh
[testman@hadoop1 ~]$ sudo scp /etc/profile.d/my_env.sh root@hadoop4:/etc/profile.d/my_env.sh

分别在hadoop2、3、4上使配置文件生效

source /etc/profile.d/my_env.sh

6.准备集群分发的脚本文件xsync

[testman@hadoop2 ~]$ mkdir bin
[testman@hadoop2 ~]$ cd bin/
[testman@hadoop2 bin]$ touch xsync
[testman@hadoop2 bin]$ vi xsync

并在文件中编写如下的shell代码：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=3; host<5; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

修改脚本 xsync 具有执行权限

[testman@hadoop2 bin]$ chmod 777 xsync

在hadoop2、3、4中安装rsync：

yum -y install rsync

注意：如果将xsync放到/home/testman/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下。

7.集群部署规划

hadoop2hadoop3hadoop4
HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNode
YARNNodeManagerResourceManager NodeManagerNodeManager

8.配置

先进入

[root@hadoop132 ~]$ cd /opt/module/hadoop-3.1.3/etc/hadoop/

8.1配置核心文件

配置core-site.xml

[testman@hadoop2 hadoop]$ vi core-site.xml

文件中配置：

<!-- 指定NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop132:9820</value>
</property>
 <!-- 指定hadoop数据的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-3.1.3/data</value>
</property>

8.2配置HDFS

配置hadoop-env.sh

[testman@hadoop2 hadoop]$ vi hadoop-env.sh

在文件中添加：

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

[testman@hadoop2 hadoop]$ vi hdfs-site.xml

文件中配置：

<!-- nn web端访问地址-->
<property>
	<name>dfs.namenode.http-address</name>
        <value>hadoop132:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
        <value>hadoop134:9868</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

8.3配置YARN

配置yarn-env.sh

[testman@hadoop2 hadoop]$ vi yarn-env.sh

在文件中添加：

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[testman@hadoop2 hadoop]$ vi yarn-site.xml

文件中配置：

<!-- Site specific YARN configuration properties -->
<!-- 指定MR走shuffle -->
<property>
	<name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop133</value>
</property>

8.4配置MapReduce

配置mapred-env.sh

[testman@hadoop2 hadoop]$ vi mapred-env.sh

在文件中添加：

export JAVA_HOME=/opt/module/jdk1.8.0_144

将mapred-site.xml.template修改为mapred-site.xml
配置mapred-site.xml

[testman@hadoop2 hadoop]$ vi mapred-site.xml

文件中配置：

<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop132:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop132:19888</value>
    </property>

8.5配置SSH无密登录（需要配置三次）

生成公钥和私钥：

[testman@hadoop2 .ssh]$ ssh-keygen -t rsa

将公钥拷贝到要免密登录的目标机器上：

[testman@hadoop2 .ssh]$ ssh-copy-id hadoop2
[testman@hadoop2 .ssh]$ ssh-copy-id hadoop3
[testman@hadoop2 .ssh]$ ssh-copy-id hadoop4

注意：
还需要在hadoop2上采用root账号，配置一下无密登录到hadoop2、hadoop3、hadoop4；
还需要在hadoop3上采用testman账号配置一下无密登录到hadoop2、hadoop3、hadoop4服务器上。

8.6配置workers

修改文件：
[testman@hadoop2 hadoop]$ vi workers
在该文件中增加如下内容：
hadoop2
hadoop3
hadoop4

8.7在集群上分发Hadoop配置文件

[testman@hadoop2 hadoop]$ xsync /opt/module/hadoop-3.1.3/
已标记关键词 清除标记
hadoop 2.x集群搭建
何星驰的专栏@17316365004@sina.cn
01-04 1430
快捷跳转 集群搭建 站在hadoop2.x的角度批斗hadoop1.x HDFS NameNode压力过大,内存受限,系统扩展性差 NameNode单点故障,NameNode宕机系统就瘫痪了,在线场景中难以应用. MapReduce JobTracker访问压力大，影响系统扩展性 难以支持除MapReduce之外的计算框架，比如Spark、Storm等. hado...
表情包
插入表情
还能输入1000个字符
相关推荐
Hadoop 3.x 详细安装步骤
spark_tang的博客
04-28 527
## 写在前面 如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 [三天入门大数据实操课程](https://www.bilibili.com/video/BV1De411x72P) 在本地搭建集群环境，在这个视频课程中你需要学习的章节是： - 课程目标 - VMWare WorkStation 安装 - 创建虚拟机 - 安装 Centos 7 操作系统 - Ce...
学习Hadoop(二)全分布式Hadoop1.X搭建及2.X介绍及搭建
赵俊杰
08-30 131
一、Hadoop1.X全分布式搭建 首先还是防火墙、域名映射、JDK检查好。 1、时间同步：date -s "时间" 2、节点间免秘钥。scp id_dsa.pub node04:`pwd`/node01.pub 3、core-site.xml修改下目录（自定义即可与之前的分开，避免数据冲突） 4、hdfs-site.xml 修改。修改副本数量和SecondaryNameNode地址： ...
Hadoop集群搭建(详细步骤)—完全分布式运行模式
安歌Object
08-11 4457
分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 一、虚拟机准备 详见： Hadoop运行环境搭建（含Linux网络配置和系统管理操作） https://blog.csdn.net/weixin_37838429/artic...
Hadoop3.0集群安装知识
about云
01-06 558
问题导读1.本文是如何定义master的？2.如何配置hadoop守护进程环境？3.配置Hadoop守护进程需要哪些配置文件？4.yarn-site配置文件，主要配置哪两个进程？5.mapred-site.xml配置文件，配置哪些内容？6.hadoop如何配置监测NodeManagers的健康状况？7.hadoop3.0slaves做了什么更改？8.如何单独启动DataNode？9.访问hadoo
Hadoop完全分布式集群安装及配置（基于虚拟机）
小太阳~
07-04 9876
写在前面因为之前Hadoop伪分布式的安装（参见：Hadoop安装以及伪分布模式搭建过程）是在VirtualBox上安装了Ubuntu虚拟机，所以这次在开始的时候也是在VirtualBox上安装了3个Ubuntu虚拟机，但是3个虚拟机打开之后发现3者的IP地址是一样的（通过ifconfig命令查看IP地址），我尝试着通过设置静态IP、更改网络模式等方法都没有成功，不能够做到3个虚拟机之间互联。所以这
hadoop3.x的安装与配置
qq_26433989的博客
05-21 2127
说明：本文只是个人学习记录而已，绝不用于商业用途，文章参考了网上很多博主的内容，具体来源没能注明，望见谅。 背景： 系统：ubuntu16.04，下载安装地址： http://mirrors.aliyun.com/ubuntu-releases/16.04/ 这里不做集群，单又想接近于分布式，因此配置伪分布式。 当然可以直接下载已经配置好hadoop环境的镜像，但是身为开发人员，怎能不动手...
Hadoop 3.x集群搭建教程【图文】
教主的博客
03-02 1237
目录 一、配置服务器 1.1 .nat模式下的dhcp自动配ip 1.2 配置hosts 二、 配置ssh无密码访问 2.1 生成公钥密钥对 2.2 将子节点的公钥拷贝到主节点并添加进authorized_keys 2.3 最后测试是否配置成功 2.4 将主节点的authorized_keys文件分别替换子节点的authorized_keys文件 三、安装jdk 3.1卸载jd...
Hadoop-3.x 伪分布式集群安装教程
i_wonder_how_的博客
09-21 2202
Hadoop集群安装 本文安装配置步骤除第1步外，全程参考官方文档 机器配置如下(虚拟机) 角色 IP 内存 硬盘 硬盘 master 192.168.1.202 3g 20g centos slave1 192.168.1.203 3g 20g centos slave2 192.168.1.204 3g 20g centos 防火墙全关，selinux关闭 1. 环境配置 1.1 ssh免密登录配置 1.1.1 修改hosts文件 3台机器都如此操作 执行如下命令 sudo
Hadoop3.X 高可用架构配置
weixin_38335560的博客
10-16 601
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...
Hadoop 3安装配置
weixin_30348519的博客
05-30 148
三台虚拟机：node1是master节点，node2和node3是数据节点，也可选择将node1也作为数据节点 需要的基本设置1.时间同步(时间服务器)，网络，hosts时间同步设置（时间服务器，ntp服务器）yum install ntpdatentpdate -u 3.tw.pool.ntp.org 可能设置固定IPvi /etc/sysconfig/network-scripts/...
Hadoop之——基于3台服务器搭建Hadoop3.x集群（实测完整版）
冰河的专栏
07-14 3234
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/93892479 一、 服务器规划 二、Hadoop集群环境的准备 搭建Hadoop集群环境之前，需要为搭建Hadoop集群环境做一些相关的准备工作，以达到正确安装Hadoop集群的目的。 1.添加hadoop用户身份 以root身份登录每台虚拟机服务器，在每台服务器...
最简hadoop3.x完全分布式集群搭建
qzcsu的博客
03-12 1527
环境准备 三台 Linux centos 7机器，本例中使用 vmware 创建三台虚拟机作为替代 基于1，电脑需要安装好 vmware 软件，需要使用 secureCRT 登录Linux机器方便操作 准备好 jdk 8 和 hadoop-3.1.2 安装包 效果描述 最后的集群为一个三台机器的 hadoop 集群，其中数据结点（DataNode）和计算结点（NodeManager）分布在...
hadoop三个配置文件的参数含义说明
一个2年工作经验的程序测试员
05-19 449
1 获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法: 1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-d...
hadoop3.2.1版本配置
hk52222的专栏
11-26 1221
1.列出所有能安装的jdk版本 yum list java* 2.用以下命令安装jdk版本 yum install -y java-1.8.0-openjdk-devel.x86_64 3.下载hadoop3.2.1版本 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar....
Hadoop3.2.0搭建部署
weixin_43860247的博客
04-02 1071
参考文章： 一、设备 3台Ubuntu16.04服务器（master：1；slave：2） 二、准备工作 1.配置hostname、hosts文件（分别修改3台服务器） ①修改主机名 vim /etc/hostname 修改3台机器名分别为master、slave1、slave2 ②修改本地hosts文件 vim /etc/hosts 查看确认三台机器IP 地址，可以ping确认网络联通； ...
Hadoop实例学习(一)Hadoop3.x集群搭建
秘密的博客
09-25 77
jdk下载
Hadoop-3.3.0部署配置
zhangjunli的博客
11-25 357
1、下载 Hadoop 下载地址：http://hadoop.apache.org/ Hadoop 安装地址：/usr/local/hadoop/hadoop-3.3.0 2、 解压 Hadoop 到指定文件夹 tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop3、 查看 Hadoop 版本信息 cd /usr/hadoop/local/hadoop-3.2.0 ./bin/hadoop version4. Hadoop 配置4.1 建立目录 在 /usr
Hadoop2.4.1伪分布式的搭建
weixin_33816611的博客
08-15 44
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop 3.2.0配置
My Sunshine
07-25 477
~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/home/qianwen/hadoop-3.2.0 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED...
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页