hadoop 3.1.1的集群搭建并完成高可用配置(详细版)

已于 2022-01-29 11:46:13 修改
阅读量1.1w 收藏 95
点赞数 13
分类专栏： # Hadoop篇 文章标签： hdoop hadoop3.1.1 hadoop集群 hadoop高可用 hadoop 3.1.1 集群高可用
于 2018-11-17 21:31:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011328843/article/details/84140854
版权

一、简介

hadoop是Apache基金会的一个顶级项目，最早期版本是十多年前发布的，随着飞速的迭代更新，2018年已经更新到了3.1.1版本。网络上大多数都是旧版本的配置，本文却是最新版本的hadoop的配置方法。本文以hadoop 3.1.1为例，讲述如何从零开始搭建好hadoop集群。

二、准备工作

集群资源配置总览

NameNodeJournalNodeDataNodeResourceManagerzookeeper
node1√√√
node2√√√√√
node3√√
node4√√

1.安装平台

安装平台，是指hadoop软件需要搭建在linux系统中。国内有两大知名linux平台，分别是Ubuntu和Centos。
给出官网的下载地址：
Ubuntu : https://www.ubuntu.com/download/desktop
Centos : https://www.centos.org/download/

2.软件包

(1) JDK: hadoop是基于java进行开发的，所有hadoop运行需要JVM的支持，作者使用的是jdk1.8的版本，下载地址：
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
如图：
在这里插入图片描述
(2) Hadoop: 给出官网镜像下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/
如图：
hadoop3.1.1下载
(3) zookeeper
下载地址：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/
zookeeper
(4)常用软件
Windows端：推荐使用VMware虚拟机，xshell：linux连接管理工具，xftp：上传文件到linux 工具
MacOs端：推荐使用VMware虚拟机，zoc7：linux连接管理工具，FileZila：上传文件到linux 工具

二、让我们开始吧

1.配置静态ip

修改网络配置文件，以centos7为例。

vi /etc/sysconfig/network-scripts/ifcfg-eth0

设置如下：

++++++++++++++++++++++++++++++++
DEVICE="eth0"
BOOTPROTO="static" #将原来的值“dhcp”改为“static”
HWADDR="00:0C:29:F2:4E:96"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="b68b1ef8-13a0-4d11-a738-1ae704e6a0a4"
IPADDR=192.168.1.16    #你需要定义的IP地址
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.1.1    #默认网关，
++++++++++++++++++++++++++++++++

保存退出
重启网络服务

service network restart

检查一下状态

ifconfig -a

+++++++++++++++++++++++++++++++++

ens33 	  Link encap:Ethernet  HWaddr 00:0C:29:F2:4E:96  
          inet addr:192.168.1.16  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fef2:4e96/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:17017 errors:0 dropped:0 overruns:0 frame:0
          TX packets:9586 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:7803412 (7.4 MiB)  TX bytes:1613751 (1.5 MiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:21844 errors:0 dropped:0 overruns:0 frame:0
          TX packets:21844 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:2042507 (1.9 MiB)  TX bytes:2042507 (1.9 MiB)

+++++++++++++++++++++++++++++++++

到了这里，请ping一下外网

ping baidu.com

我遇到两个情况：

1）ping通了，oh yeah！

2）报错：ping:unknow host baidu.com

好吧，我的解决方法是：

dhclient

敲了这个命令后，再ping一次

　　---------------------------------
　　PING baidu.com (180.149.132.47) 56(84) bytes of data.
　　64 bytes from 180.149.132.47: icmp_seq=1 ttl=54 time=38.3 ms
　　64 bytes from 180.149.132.47: icmp_seq=2 ttl=54 time=38.7 ms
　　64 bytes from 180.149.132.47: icmp_seq=3 ttl=54 time=49.7 ms
　　64 bytes from 180.149.132.47: icmp_seq=4 ttl=54 time=38.1 ms
　　64 bytes from 180.149.132.47: icmp_seq=5 ttl=54 time=37.9 ms
　　64 bytes from 180.149.132.47: icmp_seq=6 ttl=54 time=38.3 ms
　　---------------------------------

反正我是这样解决的
　　还有人是这样：配置静态IP之后reboot
还有一个情况就是，ping 外网IP可以，但是无法ping域名。我的解决办法是：设置DNS

　　vi /ect/resolv.conf
　　nameserver 114.114.114.114 //这个值我是在本地连接的状态信息里找到的

保存之后退出，再ping！

2.配置免密钥

(1)原理
免密钥
(2)配置方法

键入ssh-keygen -t rsa，如图
ssh
进入ssh主目录，键入cd ~/.ssh
~/.ssh
其中id_rsa是秘钥,id_rsa.pub是公钥文件
将密钥追加到文件authorized_keys中:cat id_rsa.pub >> authorized_keys
这就实现了对本机的免密钥
要操作其他节点，首先需要将 id_rsa.pub分发给其他节点

scp  id_rsa.pub 用户名@主机名或ip地址:"目录"

然后根据上面的追加方法重复执行。

3.安装jdk 1.8以及配置环境变量

(1)解压jdk安装包

tar xzvf jdk-8u191-linux-x64.tar.gz

(2)配置环境变量
以centos7为例：vi /etc/profile
在末尾追加：

export JAVA_HOME=/usr/java/jdk1.8.0_181(根据实际路径改动)
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.安装zookeeper集群管理工具

(1)解压

 tar zxvf zookeeper-3.4.6.tar.gz

(2)配置
我上一篇博客有详细讲解，这里不多赘述，传送门：https://blog.csdn.net/u011328843/article/details/84190285
zoo.cfg配置文件如下：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/zookeepertmp
dataLogDir=/opt/zookeepertmp/log
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=node2:2888:3888
server.2=node3:2888:3888
server.3=node4:2888:3888

记得创建dataDir=/opt/zookeepertmp和dataLogDir=/opt/zookeepertmp/log文件夹

(3)配置环境变量并启动
环境变量：

export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6
export PATH=$ZOOKEEPER_HOME/bin:$PATH

启动命令： zkServer.sh start

5.安装hadoop 3.1.1完全分布式以及配置高可用

(1)解压
用软件将"hadoop-3.1.1.tar.gz"文件上传到linux中，解压到当前命令如下：

tar zxvf hadoop-3.1.1.tar.gz

(2)配置
在这里，我就不阐述原理了，具体原理以后会发新贴，直接给出配置文件内容。
首先配置环境变量：

export HADOOP_HOME=/opt/hadoop-3.1.1(视实际情况而定)
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

配置文件在下面的目录：

  cd hadoop-3.1.1/etc/hadoop/

需要改动的主要就是hdfs-site.xml core-site.xml yarn-site.xml mapred-env.sh hadoop-env.sh yarn-env.sh

hdfs.site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>node2:9869</value>
</property>
<property>
   <name>dfs.nameservices</name>
   <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node2:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node1:9870</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node2:9870</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1:8485;node2:8485/mycluster</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
</property>
<property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/hadooptmp/ha/journalnode</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>
</configuration>

core-site.xml

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadooptmp/ha</value>
</property>
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
</property> 
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadooptmp/ha</value>
</property>
<property>
   		<name>ha.zookeeper.quorum</name>
  	    <value>node2:2181,node3:2181,node4:2181</value>
 </property>
</configuration>

mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
   <property>
     	<name>mapreduce.application.classpath</name>
     	<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
   </property>
</configuration>

yarn-site.xml

<configuration>
	<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1(你的节点别名)</value>
    </property>
    <property>
      	  <name>yarn.nodemanager.env-whitelist</name>
          <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
   <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>node1:8088</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
</configuration>

hadoop3.1需要在启动文件声明用户名等信息，如下所示：
在 hadoop-env.sh 文件下面添加如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_181
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root

在 yarn-env.sh 文件下面添加如下内容：

export YARN_RESOURCEMANAGER_USER=root
export HADOOP_SECURE_DN_USER=yarn
export YARN_NODEMANAGER_USER=root

不要忘记修改hadoop根目录/etc/hadoop/workers文件，否则集群不能启动。
填写的是DataNode的主机名！

node2
node3
node4

(3)高可用集群启动顺序：

  1. 启动zookeeper

      zkServer.sh start(在node2，3，4节点运行)

  2. 启动journalnode

      手动启动所有journalNode节点的journalNode功能（Node1, Node2）
  #Hadoop 2.X启动方式 
  hadoop-daemon.sh start journalnode
  #Hadoop 3.X启动方式
  hdfs --daemon start journalnode

  3. 在其中一台NameNode格式化zkfc

      hdfs zkfc -formatZK

  4. 格式化主节点namenode格式化主节点namenode，并启动

    hdfs namenode -format //格式化
hdfs --daemon start namenode //打开NameNode节点

  5. 副节点同步主节点格式化

    hdfs namenode -bootstrapStandby

  6. 启动集群

    start-all.sh

(4)完成效果
node1的web端页面(Overview)
pic1
node1的web端页面(Datanode Information)
pic2
node2的web端页面(Overview)
pic3
node1的Resourse Manager页面
Resourse Manager
当你做到这边，你就大功告成了，祝贺你，请持续关注我的csdn，你会有新的收获！

暴走的Mine
关注
  • 13
    点赞
  • 踩
  • 95
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
Hadoop-3.1.1完全分布式集群搭建
JoJo's blog
10-22 2760
一、工作准备 1.虚拟机 安装Vmware 安装CentOs虚拟机三台 master 192.168.33.101 slave1 192.168.33.102 slave2 192.168.33.103 虚拟机配置 以master为例 修改主机名 hostname master 配置静态ip 修改ifcfg-eno16777736，该文件在/etc/sysconfig/net...
3.1.1 HADOOP框架（分布式集群的搭建、启动，HDFS分布式文件系统）
weixin_47134119的博客
01-22 1255
3.1.1 HADOOP框架 文章目录3.1.1 HADOOP框架四.Apache Hadoop 完全分布式集群搭建4.1 虚拟机环境准备4.2 集群规划4.3 安装Hadoop4.3.1 集群配置4.3.2 分发配置4.4启动集群4.4.1 单节点启动4.1.1 maven介绍 四.Apache Hadoop 完全分布式集群搭建 4.1 虚拟机环境准备 三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步） 在/opt⽬录下创建⽂件夹 mkdir -p /opt/lagou
Hadoop 3.1.1 HDFS 集群部署
JP.Hu 的博客
01-21 1346
【代码】Hadoop 3.1.1 HDFS 集群部署。
最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)，2024年最新阿里P7大牛整理
最新发布
2301_79772893的博客
05-12 1632
搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03。在hadoop01上执行。
Hadoop 3.1.1 分布式搭建过程
thosakapie的博客
03-02 1379
如何配置hadoop
hadoop 3.1.1 安装
weixin_34301307的博客
11-13 2625
以下是本次搭建说使用的服务器 服务器IP分配 IP　　　 节点名称 说明 192.168.172.130 master 主服务器 192.168.172.131 slave1 从服务器1 192.168.172.132 slave2 从服务器2 ...
大数据 - HADOOP3.1.1单机版安装部署
记录并分享
06-04 293
HADOOP3.1.1单机版安装部署。
Hadoop3.1.1高可用完全分布式环境搭建
01-20
学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境 本环境我们用到的软件版本 cetos7,zookeeper-3.4.13.tar.gz,jdk-8u191...
hadoop集群搭建_hadoop配置文件修改
01-07
hadoop配置文件修改 先进入hadoop配置文件所在路径: cd /usr/local/src/hadoop-2.6.1/etc/hadoop 修改slaves vim slaves 修改core-site.xml vim core-site.xml fs.defaultFS hdfs://192.168.43.10:9000 #主机...
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
Hadoop3.2.0集群搭建常见注意事项
01-09
在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保集群的稳定运行和正确配置。以下是对这些要点的详细说明： 首先，关于端口的变化是关键。在3.2.0版本中，Namenode的Web界面端口由原来的50070更改...
Linux中安装配置hadoop集群详细步骤
09-15
【Linux中安装配置Hadoop集群详细步骤】 在Linux环境下搭建Hadoop集群是一项复杂但重要的任务，主要用于大数据处理和分析。本文将详细介绍如何在Ubuntu 14.04 64位系统上安装和配置Hadoop 2.7.1版本的集群。 一、...
step7. hadoop3.1.1安装与伪分布式配置（转）
weixin_46964107的博客
03-30 1289
hadoop3.1.1安装与伪分布式配置+端口查看
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3396
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
Hadoop学记：三、Hadoop安装
weixin_39327352的博客
07-12 470
先从官往下载对应的安装包，此处是下载的hadoop-3.1.1版本 官网下载地址将下载下来的安装包，放到我们服务器/opt/software路径下，执行命令 将文件解压到/opt/module/路径下 在文件末尾追加 配置完成之后执行命令更新环境变量 执行命令，查看相关参数，如下所示即安装成功......
Hadoop 3.1高可用集群搭建（亲测）
qq_36835255的博客
04-19 727
hadoop版本 3.1.2 机器数量：5台 nameNode数量 ：3个 dataNode数量： 5个 journalNode数量： 5个 这教程是5台机搭建hadoop高可用集群，其中3台机做namenode，5台机都做datanode和journalnode。 在这里我已经做好了以下几个前期工作： 5台机的zookeeper集群 hadoop账号的建立，避免使用root操作hadoop ...
《Hadoop3.1》集群搭建指南
qq_38558834的博客
09-07 332
Hadoop3.1 集群搭建指南 前言 本实验基于Hadoop3.1 和 jdk1.8安装，主要涉及内容是linux网络设置，主机设置，ssh远程登陆设置， 用的操作系统是Centos6.8。 一：LINUX基本配置 步骤：(注：#代表超级用户下使用) 1 创建单个用户用于Hadoop集群搭建 #：useradd username 再键入密码就行了 2 修改sudoers文件，使...
win10 Hadoop3.1.1配置
zhuzi51的专栏
12-23 1450
楔子 win10安装 Hadoop 尝试失败，尝试编译，由于环境没搞好，也失败了，win10上最好安装一些旧版本的 hadoop 或者CHD版本的 winutils 下载 下载地址https://github.com/steveloughran/winutils 配置文件 1 core-site.xml &lt;configuration&gt; &lt;!-- 指定hadoop临时目录,...
Hadoop3伪分布式安装
Paradox001的博客
08-30 272
Hadoop伪分布式环境搭建详细过程

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

暴走的Mine

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值