Hadoop 3.1.0 高可靠集群搭建

最新推荐文章于 2024-03-21 14:58:40 发布
最新推荐文章于 2024-03-21 14:58:40 发布
阅读量442 收藏
点赞数 2
文章标签： 高可靠 Hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mhw828/article/details/81417315
版权

Hadoop 3.1.0 高可靠

机器配置

主机名称IP属性
ms3192.168.242.3namenode
ms4192.168.242.4namenode
ms5192.168.242.5datanode
ms6192.168.242.6datanode
ms7192.168.242.7datanode

配置静态IP

修改

/etc/sysconfig/network-scripts

修改内容

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="818b75d3-c01a-472e-930b-7bf8777ef7a1"
DEVICE="ens33"
ONBOOT="yes"
# 修改每一台机器的IP
IPADDR=192.168.242.3
GATEWAY=192.168.242.2 
NETMASK=255.255.255.0 

NM_CONTROLLED="no"

DNS1=114.114.114.114
DNS2=8.8.8.8

重新启动网络服务

service network restart

完整的hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.242.1 ms
192.168.242.3 ms3
192.168.242.4 ms4
192.168.242.5 ms5
192.168.242.6 ms6
192.168.242.7 ms7
192.168.242.8 ms8

关闭防火墙

#临时关闭
systemctl stop firewalld
#禁止开机启动
systemctl disable firewalld
# 查看防火墙状态
firewall-cmd --state
# 重新启动机器
reboot

配置SSH

主节点

 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 chmod 0600 ~/.ssh/authorized_keys

拷贝到其他节点

scp /root/.ssh/id_rsa.pub root@子节点主机或者IP:~

其他节点操作

mkdir -p ~/.ssh

cd ~/.ssh/

cat ~/id_rsa.pub >> authorized_keys

vim /etc/ssh/sshd_config

# 如果是用root用户登录请开启
PermitRootLogin yes
# 重新启动ssh
service sshd restart

配置JAVA

解压

添加环境变量

export JAVA_HOME=/usr/local/ms/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin

配置ZooKeeper

只需要在ms5,ms6,ms7 配置

解压

修改配置文件

| 路径
    /usr/local/ms/zookeeper-3.4.13/conf
| shell 命令

cp zoo_sample.cfg  zoo.cfg

# 只需要修改dataDir
dataDir=/opt/zookeeper/data
# 文件末尾添加
server.1=ms5:2888:3888
server.2=ms6:2888:3888
server.3=ms7:2888:3888

添加环境变量

export ZOOKEEPER_HOME=/usr/local/ms/zookeeper-3.4.13

export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

创建文件夹

mkdir -p /opt/zookeeper/data

写入文件

在ms5,ms6,ms7中分别执行

#ms5
echo 1 /opt/zookeeper/data/myid
#ms6
echo 2 /opt/zookeeper/data/myid
#ms7
echo 3 /opt/zookeeper/data/myid

配置Hadoop

解压

修改配置文件

修改 hadoop-env.sh

export JAVA_HOME=/usr/local/ms/jdk1.8.0_181

export HADOOP_HOME=/usr/local/ms/hadoop-3.1.0

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>ms3:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>ms3:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>ms4:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>ms4:50070</value>
    </property>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://ms5:8485;ms6:8485;ms7:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/hadoop/journaldata</value>
    </property>
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
    sshfence
    shell(/bin/true)
    </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1/</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>ms5:2181,ms6:2181,ms7:2181</value>
    </property>
</configuration>

yarm-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
    <!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>ms3</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>ms4</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>ms5:2181,ms6:2181,ms7:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->


<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>

</property>
    <property>  
        <name>mapreduce.application.classpath</name>  
        <value>  
        /usr/local/ms/hadoop-3.1.0/etc/hadoop,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/common/*,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/common/lib/*,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/hdfs/*,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/hdfs/lib/*,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/mapreduce/*,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/mapreduce/lib/*,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/yarn/*,  
        /usr/local/ms/hadoop-3.1.0/share/hadoop/yarn/lib/*  
        </value>  
    </property>
</configuration>

修改workers文件 添加主机名称

ms5
ms6 
ms7

修改 /usr/local/ms/hadoop-3.1.0/sbin

在start-dfs.sh 和 stop-dfs.sh 中添加

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

在start-yarn.sh 和 stop-yarn.sh 中添加

YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root

拷贝到其他节点

scp -r hadoop-3.1.0 主机名:/usr/local/ms/

创建文件夹

rm -rf /opt/hadoop/*
mkdir -p /opt/hadoop/journaldata
mkdir -p /opt/hadoop/tmp

启动

在ms5,ms6,ms7 中启动

zkServer.sh start

查看zookeeper启动状态

zkServer.sh status

在ms5,ms6,ms7 中启动

hadoop-daemon.sh start journalnode

运行jps命令查看是否有 JournalNode 进程

ms3格式化HDFS

hdfs namenode -format

ms4运行

hdfs namenode -bootstrapStandby

ms1 格式化

hdfs zkfc -formatZK

启动HDFS

start-dfs.sh

启动YARN

start-yarn.sh

访问UI

http://ms3:8088

http://ms3:50070

http://ms4:8088

http://ms4:50070

效果

测试集群工作状态的指令

# 查看hdfs的各节点状态信息
hdfs dfsadmin -report  
# 获取一个namenode节点的HA状态
hdfs haadmin -getServiceState nn1  
#  单独启动一个namenode进程
hadoop-daemon.sh start namenode 
# 单独启动一个zkfc进程
hadoop-daemon.sh start zkfc
ms_勇往直前
关注
Hadoop3.1.0（伪分布式）安装教程
Sven119的博客
04-13 4053
一、支持的平台支持GNU/Linux作为开发和生产平台。Windows也是一个支持的平台，下面步骤仅适用于Linux。二、所需软件所需的Linux软件包括：Java必须安装。如果要使用可选的启动和停止脚本，必须安装ssh，并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。此外，建议安装pdsh以获得更好的ssh资源管理。三、安装软件    如果你的集群没有必要的软件，你需...
大数据-Hadoop-搭建(一)：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机）【CentOS6】【独立安装Apache Hadoop】
u013250861的博客
01-14 1578
大数据-Hadoop：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机） 一、VMware、Linux虚拟机环境准备 1、网络配置 1.1 查看网络IP和网关 1.1.1 查看虚拟网络编辑器 1.1.2 修改ip地址 1.1.3 查看网关 1.1.4 查看windows环境的中VMnet8网络配置(控制面板-网络和Internet-更改适配器选项) 1.2 配置Linux系统的网络IP和网关 1.2.1 查看当前网络IP 1.2.2 修改当前Linux系统的IP地址为固定地址 1.2.3
hadoop3.1.0
06-25
hadoop3.1.0在win10系统使用vs2017编译的本地库，包括hadoop.dll,hdfs.dll,winutils.exe及其.lib文件
Hadoop 3.1.0 本地安装和伪分布式安装步骤和踩坑详解
哇彩的博客
07-19 5098
一、Hadoop 安装 1.apache 官网下载hadoop tar.gz 上传到linux 服务器； 2.验证Linux 服务器是否有java环境，java -version；是否有JAVA_HOME,echo $JAVA_HOME; 3.配置Hadoop 环境变量，需要配置 hadoop目录下的 bin 和 sbin 目录 注：环境变量可在 ~/.bash_profile（只对当前用...
Hadoop 3.1.0 集群搭建
ms
07-28 716
Hadoop 3.1.0 集群搭建 下载地址 http://mirrors.hust.edu.cn/apache/hadoop/common/ 文档地址 http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/SingleCluster.html 参考地址 https://my.oschi...
hadoop-3.1.0 安装
最新发布
shengyingwen的专栏
03-21 2025
1. hadoop、hive、flink等目前版本基本依赖于jdk1.8, 所以需要专门的JDK环境，毕竟现在大多开发者都是使用>=11版本了。2. windows 系统建议使用VMware通过新建虚拟机安装，适用windows的版本在安装中配置、安装后使用都会挺麻烦(权限、cmd启动脚本、切换开发使用的jdk版本等)，也会比较卡，毕竟Contos7系统目前是最贴近服务器环境的。下面，直接进入正题！
Apache hadoop-3.1.0 版本
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
hadoop-3.1.0.zip
07-13
在Hadoop 3.1.0的压缩包中，你将找到包括Hadoop配置文件、可执行二进制文件、库文件、文档等所有必要的组件，可以用于在本地或集群环境中搭建和运行Hadoop环境。安装和配置Hadoop涉及多个步骤，包括环境变量设置、...
大数据之HBase集群搭建
weixin_43339889的博客
01-29 885
HBase环境搭建
Hadoop3.2.1版本的环境搭建(伪分布式模式)
caodongfang126的博客
04-08 1564
Hadoop的安装包括3中模式： （1）单机模式：只在一台机器上运行，存储采用本地文件系统，没有采用分布式文件系统HDFS。 （2）伪分布式模式：存储采用分布式文件系统HDFS，但是HDFS的节点和数据节点都在同一节点。 （2）分布式模式：存储采用分布式文件系统HDFS，而且HDFS的节点和数据节点位于不同机器上。 1 创建Hadoop用户 1.1 创建新用户 用户名为hadoopus...
hadoop3.1.1@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下： https://github.com/caidaol/hadoopbuild
windows安装hadoop3.1.0
huarui0922的博客
05-24 1623
windows安装hadoop，windows安装HDFS
Hadoop 分布系统的高可靠选择
veritasfx的专栏
11-14 1216
最近美国东海岸飓风灾难，引发了关于灾难恢复的讨论。让我们看看Hadoop所提供的各种高可靠性选项。 为了理解HA的存在的问题，首先让我们看看Cloudera关于Apache Hadoop 高可靠性的话，这样对于 “以前在HDFS集群里，NameNode是一个单点故障(SPOF)。每一个集群都有一个NameNode，如果这台机器或者进程不可用的话，整个集群系统都不可用。故障的恢复仰仗于NameN
Hadoop3.1.0集群环境搭建
zranfly
09-05 4590
Hadoop3.1.0集群环境搭建 系统环境： 主机系统：win10 虚拟机系统：VM14+CentOS7 前面的文章我使用的系统是CentOS 6.7 ，由于CentOS 7 与CentOS 6 有很大变化，不能落后了，所以这次我改用 CentOS 7 系统来学习了，以后的文章也都使用CentOS 7 系统来进行。 今天就写一下，Hadoop 集群搭建的过程吧，学习的开始先把环境...
Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）
热门推荐
GCTTTTTT的博客
09-06 1万+
Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）
Hadoop（3）hadoop3.1.0伪分布式单节点配置
夏季版
06-04 1686
1、简介 Hadoop默认是单节点运行的，但是Hadoop也可以在伪分布模式下的单节点上运行，其中每个Hadoop守护进程都在单独的Java进程中运行。 注意！！该版本为3.1.0， 2、配置步骤 0、设置免密码ssh登录本机： 1、ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 2、cat ~/.ssh/id_rsa.pub &gt;&...
《Hadoop3.1》集群搭建指南
qq_38558834的博客
09-07 384
Hadoop3.1 集群搭建指南 前言 本实验基于Hadoop3.1 和 jdk1.8安装，主要涉及内容是linux网络设置，主机设置，ssh远程登陆设置， 用的操作系统是Centos6.8。 一：LINUX基本配置 步骤：(注：#代表超级用户下使用) 1 创建单个用户用于Hadoop集群搭建 #：useradd username 再键入密码就行了 2 修改sudoers文件，使...
Hadoop之高可用原理
happy19870612's blog
11-24 1396
我们首先看一下普通的HA, 由于发生故障时需要依赖于管理员手动切换NameNode，由于管理员不可能随时随地监控集群，所以自动主备切换很有必要。 一 HA整体架构 HA总共有2个NameNode， ActiveNameNode和StandbyNameNode ,2个NameNode互为主备，处于Active状态的是主NameNode，处于Standby状态的是备NameNode，
Hadoop2.6高可用集群搭建详解
"Hadoop2.6高可用集群搭建手册" 在搭建Hadoop2.6高可用集群时，首先需要了解系统的具体环境。本手册基于Linux操作系统，内核版本为3.10.0-1062.18.1.el7.x86_64，发行版为CentOS Linux 7.7.1908。在这样的系统环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值