hadoop-HA高可用集群安装部署

最新推荐文章于 2024-08-28 00:06:41 发布
最新推荐文章于 2024-08-28 00:06:41 发布
阅读量1.5k 收藏 4
点赞数
分类专栏： hadoop 文章标签： hadoop ha
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tyhawk/article/details/88887463
版权

文章目录

一、 运行环境

1. 软件环境

  • 五个节点
  • OS：64位RHEL6及以上或者64位CentOS7.0及以上
  • JVM：预装64位JDK 1.8及以上版本
  • 浏览器要求:Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。

二、 安装准备

2.1 准备虚拟机

准备四个节点的虚拟机

管理节点待机管理节点工作节点
hc1:192.168.222.128hc2:192.168.222.129hc3:192.168.222.130
hc3:192.168.222.131
hc3:192.168.222.132

2.2 修改主机名

所有节点分别操作，在各个节点执行以下操作来修改主机名，使集群下的主机有格式一个统一的主机名，以便后续的操作和维护。
使用root用户修改主机名

vim /etc/hostname
文件内容修改为：
hc1 （hc1为想改的主机名,分别修改自己的）
注：主机名（hc*）与主机相对应。
在对应主机上执行以下命令，使主机名生效：
hostname hc*
注：主机名（hc*）与主机相对应。

或hostnamectl set-hostname {hostnewname}
重启生效

2.3 关闭防火墙

通过systemctl命令关闭防火墙
注：要使用root用户

systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service #开机即关闭

2.4 修改主机名列表

使用root用户修改/etc/hosts （所有节点都操作，且内容相同）
vim /etc/hosts
添加以下内容：
192.168.222.128 hc1
192.168.222.129 hc2
192.168.222.130 hc3
192.168.222.131 hc4
192.168.222.132 hc5
……

2.5 配置时间同步

配置自动时钟同步
该项同时需要在所有节点配置

  • 使用Linux命令配置

[root@master ~]$ crontab -e
该命令是vi编辑命令，按i进入插入模式，按Esc，然后键入:wq保存退出
键入下面的一行代码，输入i，进入插入模式（星号之间和前后都有空格）
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

  • 手动同步时间
    直接在Terminal运行下面的命令：
    [root@master ~]$ /usr/sbin/ntpdate cn.pool.ntp.org

2.6 配置免秘钥登录

  1. tyhawk用户登录hc1节点，执行以下指令生成一对密钥(hadoop用户下)
    ssh-keygen -t rsa
    回车——回车——回车
  2. 登录hc2节点生成密钥，并传给hc1
    ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub01

  1. 登录hc3节点生成密钥，并传给hc1
    ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub02

  1. 登录hc4节点生成密钥，并传给hc1
    ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub03

  1. 登录hc5节点生成密钥，并传给hc1
    ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub04

  1. 登录hc1节点，组合所有公钥
    cd ~/.ssh
    cat id_rsa.pub >> authorized_keys
    cat id_rsa.pub01 >> authorized_keys
    cat id_rsa.pub02 >> authorized_keys
    cat id_rsa.pub03 >> authorized_keys
    cat id_rsa.pub04 >> authorized_keys

  • 注：要修改文件权限。
    chmod 600 authorized_keys

  • 分发密钥文件：在hc1上操作
    scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc2:~/.ssh/
    scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc3:~/.ssh/
    scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc4:~/.ssh/
    scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc5:~/.ssh/
    注：以上所有登陆节点、传输文件过程都需要输入对应节点tyhawk用户的登录密钥。
    到此，免密成功，所有节点可以相互之间免密登录。
    测试ssh hadoop002

2.7 安装jdk

  • 因为大数据所有组件都是在JVM环境中运行，所以在安装其他组件之前必须安装首先JDK。
  • jdk版本推荐安装1.8
    下载地址 http://pan.baidu.com/s/1c3kcWm 密码：alcj或者官网自行下载
  • 上传至服务器tyhawk用户下：/home/tyhawk
  1. 将JDK文件解压，放到/usr/java目录下，使用root用户
    文件：jdk-8u144-linux-x64.tar.gz

rz //rz命令上传，或者sftp上传文件
mkdir /usr/java/
mv /home/tyhawk/jdk-8u144-linux-x64.tar.gz /usr/java/
cd /usr/java/
tar -zxvf jdk-8u144-linux-x64.tar.gz

  1. 配置环境变量，使用tyhawk用户
  • vi ~/.bash_profile
    添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
  • 生效配置文件
source ~/.bash_profile
  • 测试
[tyhawk@hc1 ~]$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode
  • 其他节点同上

三、 安装其他组件

3.1 安装zookeeper

所有安装默认是在hc1上执行！
zk版本包:zookeeper-3.4.6.tar

  1. 解压并移动软件包（在所有节点执行）
    将zookeeper-3.4.6.tar.gz 解压缩，
    tar -zxvf zookeeper-3.4.6.tar.gz
  2. 修改配置文件（在hc1执行）
    修改Zookeeper配置文件
    /home/tyhawk/zookeeper-3.4.6/conf/zoo_sample.cfg重名为zoo.cfg。
    进入到conf目录下，执行：
mv  zoo_sample.cfg  zoo.cfg

修改zoo.cfg,添加如下内容（zk选举是基数，所以要添加单数的服务）

server.1=hc1:2888:3888
server.2=hc2:2888:3888
server.3=hc3:2888:3888
server.4=hc4:2888:3888
server.5=hc5:2888:3888

  1. 创建相关目录
  • 创建/tmp/zookeeper目录，并在此目录下创建myid文件。
    mkdir /tmp/zookeeper
    cd /tmp/zookeeper

vi myid
在文件中写入数字
1

  1. 分发zookeeper软件包
    scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc2:~/
    scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc3:~/
    scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc4:~/
    scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc5:~/
  2. 修改myid文件
    分别修改每个安装zookeeper的id

ssh tyhawk@hc2
vi /tmp/zookeeper/myid
修改文件中数字为2
2

ssh tyhawk@hc3
vi /tmp/zookeeper/myid
修改文件中数字为3
3

ssh tyhawk@hc4
vi /tmp/zookeeper/myid
修改文件中数字为4
4

ssh tyhawk@hc5
vi /tmp/zookeeper/myid
修改文件中数字为5
5

注：重新登录终端环境变量生效。
6. 启动Zookeeper

  • 在安装zk的机器上执行，即hc{1-5}
    注：进入zookeeper-3.4.6目录 （可以写环境变量，以后重启了就不用进目录了）
[tyhawk@hc1 zookeeper-3.4.6]$ bin/zkServer.sh start
  • 查看进程QuorumPeerMain是否启动
[tyhawk@hc1 zookeeper-3.4.6]$ jps
21882 Jps
21851 QuorumPeerMain
  • 查看zookeeper状态
[tyhawk@hc1 zookeeper-3.4.6]$ bin/zkServer.sh status
JMX enabled by default
Using config: /home/tyhawk/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

3.2 安装hadoop

hadoop部分的配置分为两部分hdfs和yarn。

3.2.1 安装HDFS

hdfs版本：hadoop-2.7.7.tar

  • 解压并移动软件包（在所有节点执行）
    将/home/ltyhawk/hadoop-2.7.7.tar.gz解压

tar -zxvf hadoop-2.7.7.tar.gz

修改core-site.xml

（如果文件不存在，但是core-site.xml.template文件存在，则先修改文件名，执行mv core-site.xml.template core-site.xml）

[tyhawk@hc1 ~]$ vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/core-site.xml

修改为以下内容
注意：

< configuration > //这是语句的开头
插入这里 //插入在这里
< /configuration > //这是语句的结束

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://tyhawk</value>          //随便起的名字
    <final>false</final>       //开启某些功能时用到
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/tyhawk/hadoopdata</value>           //hadoop的tmp目录
    <final>false</final>                  
  </property>
  <property>
    <name>ha.zookeeper.quorum</name> 
    <value>hc1:2181,hc2:2181,hc3:2181,hc4:2181,hc5:2181</value>   //zk的数量和配置的数量对应
    <final>false</final>
  </property>
</configuration>
修改hdfs-site.xml

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
修改为以下内容：

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>tyhawk</value>           //这里的beh对应的core-site.xml中的fs.defaults  <value>hdfs://tyhawk</value>  //
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.namenodes.tyhawk</name>   //namenode个数
    <value>nn1,nn2</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.tyhawk.nn1</name>    //rpc服务的端口
    <value>hc1:9000</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.http-address.tyhawk.nn1</name>    //hht服务的端口
    <value>hc1:50070</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.tyhawk.nn2</name>    //nn2的RPC的端口
    <value>hc2:9000</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.http-address.tyhawk.nn2</name>
    <value>hc2:50070</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
   <value>qjournal://hc1:8485;hc2:8485;hc3:8485;hc4:8485;hc5:8485/tyhawk</value>  //对应zk文件个数
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled.tyhawk</name>
    <value>true</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.tyhawk</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.journalnode.edits .dir</name>
    <value>/home/tyhawk/metadata/journal</value>   //和journal相关存放目录
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>    //有关ssh公钥的配置
    <value>sshfence</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>       //有关ssh密钥的配置
    <value>/home/lan/.ssh/id_rsa</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.replication</name>             //slaves副本的数量，对应接下来的slaves文件数量
    <value>3</value>
    <final>false</final>
  </property> 
</configuration>
修改slaves

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/slaves
修改为以下内容：

hc3
hc4
hc5

3.2.2 YARN

修改mapred-site.xml

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/mapred-site.xml
修改为以下内容：

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>
修改yarn-site.xml

vim /home/lan/hadoop2.7.1/etc/hadoop/yarn-site.xml
修改为以下内容：

<configuration>
<!-- 开启RM高可用 -->
   <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
   </property>
   <!-- 指定RM的cluster id -->
   <property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>tyhawk</value>
   </property>
   <!-- 指定RM的名字 -->
   <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
   </property>
   <!-- 分别指定RM的地址 -->
   <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>hc1</value>
   </property>
   <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>hc2</value>
   </property>
   <!-- 指定zk集群地址 -->
   <property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>hc1:2181,hc2:2181,hc3:2181,hc4:2181,hc5:2181</value>
   </property>
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
   <!--开启故障自动切换-->
	<property>
     <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
     <value>true</value>
   </property>
<property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hc1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hc1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hc1:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hc1:8031</value>
    </property>

<property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hc2:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hc2:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hc2:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hc2:8031</value>
    </property>
        
</configuration>
修改hadoop环境变量

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/yarn-env.sh (# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
这行注释了，需要找)

修改为以下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_144

修改全局环境变量

cd ~
vi .bash_profile

export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/tyhawk/hadoop-2.7.7          //这是添加的
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH     //这是添加的

3.2.3 分发配置文件

scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc2:~/
scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc3:~/
scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc4:~/
scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc5:~/

注：将以上配置复制到所有节点

3.3 启动HDFS

启动journalnode

（进程名：JournalNode），哪些节点配置了此项，就在哪些节点上启动。（hc1,hc2,hc3.hc4,hc5）

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

格式化zookeeper，在hc1上执行

hdfs zkfc -formatZK

  • 对hc1节点进行格式化和启动启动namenode（进程名：NameNode）：

hdfs namenode -format

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

对hc2节点进行格式化和启动

hdfs namenode -bootstrapStandby
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
在hc1和hc2上启动zkfc服务（zkfc服务进程名：DFSZKFailoverController）：此时hc1和hc2就会有一个节点变为active状态
$HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc
启动datanode（进程名：DataNode）：在hc1上执行
$HADOOP_HOME/sbin/hadoop-daemons.sh start datanode

3.4 验证是否成功

打开浏览器，访问 hadoop1:50070 以及 hadoop2:50070，你将会看到两个namenode一个是active而另一个是standby。
然后kill掉其中active的namenode进程，另一个standby的naemnode将会自动转换为active状态

3.5 启动yarn

在hc1上启动

（此脚本将会启动hc1上的resourcemanager及所有的nodemanager）
$HADOOP_HOME/sbin/start-yarn.sh

在hc2上启动resourcemanagerl

$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

3.6 验证是否配置成功

打开浏览器，访问hc1:8088或者hc2:8088，只有active的会打开如下界面，standby的那个不会看到页面。(对应yarn-site.xml里面)

然后kill掉active的resourcemanager另一个将会变为active的，说明resourcemanager HA是成功的

四、 关闭集群

在hadoop-2.7.7目录里跑

4.1 关闭YARN

  1. 在hc1上启动stop-yarn.sh脚本:

$ sbin/stop-yarn.sh
这个脚本会关掉hc1的ResourceManager和所有的NodeManager：

  1. .在hc2上通过脚本yarn-daemon.sh执行stop resourcemanager命令

sbin/yarn-daemon.sh stop resourcemanager

4.2 关闭HDFS

在hc1上启动stop-dfs.sh脚本，这个脚本会关掉hadoop01的HDFS服务和所有节点上的NameNode、DataNode和JournalNode

sbin/stop-dfs.sh

这里直接用sbin/stop-dfs.sh命令没有关掉hc1的NameNode和JournalNode，可以手动一个一个关闭

sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop journalnode

4.3 关闭ZKFC

  1. 在hc1上通过脚本yarn-daemon.sh执行stop zkfc命令

sbin/hadoop-daemon.sh stop zkfc

  1. 在hc2上通过脚本yarn-daemon.sh执行stop zkfc命令

sbin/hadoop-daemon.sh stop zkfc

4.4 关闭zookeeper

在hadoop1上启动zkServer.sh脚本，关闭zookeeper

/home/tyhawk/zookeeper-3.4.6/bin/zkServer.sh stop

栖之
关注
专栏目录
Hadoop系列之Hadoop 高可用(4)
01-20 6万+
Hadoop 高可用 在Hadoop 2.0以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群，这将延长集群的停机时间。而Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hadoop 3.0则支持多个备用NameNode节点，这使得整个集群变得更加可靠。 什么是 Hadoop 高可用 Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hado
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4277
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
Hadoop HA（高可用）部署
weixin_52626164的博客
08-10 2154
注：安装Hadoop HA（即HDFS和YARN高可用），首先要完成zookeeper的配置，然后再配置hdfs 和yarn 的高可用。
Hadoop集群部署（HA）
小七的编程日志
08-10 522
三台CentOS7的机器分别为cdh50-121，cdh50-122，cdh50-127，用户名都是hdfs，并且设置免密互信 一、安装前准备 下载地址https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/，下载hadoop-3.1.3.tar.gz 为方便操作，zookeeper安装在用户目录下（/home/hdfs）后续操作都以hdfs用户操作 压缩包放置到用户目录，并且解压压缩包，解压后文件夹名修改为hadoopcd ~ tar z.
Hadoop部署(HA)(版本3.3.6)
最新发布
m0_72596529的博客
08-28 1833
一.前言 hadoop高可用集群分为 主备的namenode resourcemanager 数据同步监听的journalnode 和zkfc监控 部署规划如下 jdk版本选用 jdk-11.0.24 zookeeper版本选用3.6.3 二. 部署过程 2.1 jdk部署 #下载jdk11.0.24安装包 解压 创建软连接 tar -zxvf jdk-11.0.24_linux-x64_bin.tar.gz ln -s /home/user1/jars/jdk-11.0.24/ jdk #修改环境变量
Hadoop HA集群部署(详细版)
longtxue
04-03 3220
Hadoop版本: 2.7.6 CentOS版本: 7.6.1810 集群: 3台 百度网盘: 提取码：1111 Hadoop HA说明 HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。 HDFS自动故障转移 HDFS的自动故障转移主要由Zookeeper（Zookeeper很重要啊）和ZKFC两个组件组成。 Zookeeper..
docker Hadoop HA高可用性分布式集群搭建
weixin_30347009的博客
08-22 313
自学hadoop，不求甚解的过了一遍相关<<Hadoop权威指南>>, 然后开启了满是坎坷的环境搭建之旅。得益于网友无私分享初步实现Hadoop HA 高可用分布式集群，现略作小结。 环境模拟:VMware Workstation上安装centos7，centos7上安装docker,通过docker镜像创建多个centos7容器，以此模拟真实环境建设集群。 ...
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
2301_77356579的博客
05-03 936
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
Hadoop-HA高可用分布式集群总结
Biubiubiu!
03-14 1221
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录Hadoop-HA高可用分布式集群一、HA概述二、HDFS-HA 工作机制1、HDFS-HA 工作要点2、HDFS-HA 自动故障转移工作机制三、总体配置及准备规划1、集群规划2、准备工作3、修改配置文件四、HDFS-HA 集群配置1、配置HDFS-HA集群2、配置 HDFS-HA 自动故障转移五、YARN-HA 配置1、YARN-HA 工作机制...
Hadoop-HA(高可用 )集群搭建文档
04-09
基于Hadoop-HA(高可用 )集群搭建目录： 一．Hadoop集群IP以及角色分配表 2 二．安装软件 2 三. 基础环境部署 2 ...配置高可用集群 8 七．启动相应的服务进程 12 八．测试 13 附录．出现的问题集锦 15
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群...通过规划服务器环境、选择合适的版本组合、安装和配置Zookeeper、Hadoop和HBase三个组件，可以搭建一个高效的Hadoop HA高可用集群。
Hadoop HA部署
04-01
Hadoop HA部署流程文件 Hadoop HA部署流程文件 Hadoop HA部署流程文件 Hadoop HA部署流程文件
Hadoop HA高可用部署
荒-于嬉的博客
01-16 1970
Hadoop HA高可用安装 发现网上大部分文档(我找到的所有文档)安装的高可用Hadoop并不高可用. 经过测试发现大部分文档方案都是只能停止active状态的NameNode进程才能切换主备状态,如果停掉active状态的NameNode服务器节点,不会切换主备状态.
Hadoop的高可用HA部署
云主宰苍穹
04-03 1235
引言   有基础的读者，可以直接跳到第三章：环境搭建。前面两章都是一些相关的理论基础和准备工作。而对于完全是第一次搭建Hadoop高可用HA集群的读者，强烈建议花几分钟看一看这些理论基础和准备工作，便于后面更好地理解和搭建集群环境。 理论分析   本章将从进程间的通信机制RPC，Hadoop基础理论和ZooKeeper基础理论来阐述，首先对此有一定的理论理解基础，便于后面的环境快速搭建。   关于...
Hadoop2X HA环境部署
qq_55906442的博客
04-16 1564
一、前期准备 1.1安装了jdk 1.2安装了zookeeper分布式 ​​​​​​zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-CSDN博客 1.3配置免密码登录 Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客 1.4机器准备 主节点 从节点 hadoop01 hadoop02 hadoop02 hadoop03 笔记本性能不够，没有安装多的虚拟机，hadoop02重复使用。 二、安装部署 2.1上传...
五、Hadoop高可用部署
ynzzxc的博客
03-29 1526
（1）下载安装包并解压到指定目录 （2）修改配置文件，并添加必要变量 （3）分发到其他节点，配置环境变量 以dataxc用户为例，脚本示例如下： #!/bin/bash # hadoop.sh nodes=(n101 n102 n103) #集群地址 zk_connect='n101:2181,n102:2181,n103:2181' hdns='n101:8485;n102:8485;n103:8485' #解压hadoop到程序目录 cd /home/dataxc/sw &&amp
kubernetes高可用集群安装
水彩橘子
03-09 2711
1、相关资源导航 https://blog.csdn.net/zyj81092211/article/details/123068347 2、环境介绍 操作系统：centos 7.9 kubernetes版本：v1.23 kubelet kubeadm kubectl版本：1.23.4 containerd版本：1.4.13 master配置：2核心 4G内存 80G硬盘 worker配置：16核心 16G内存 500G硬盘 ip地址规划： k8s-master01:10.99.24.31 k8s-mast
【大数据】Hadoop高可用部署
weixin_43833235的博客
08-25 913
HDFS的块是计算机系统最小的存储单元。它是分配给文件的最小的连续存储单元。在 Hadoop，也有块的概念，只是比计算机系统的块要大得多，默认是128MB或者256MB。
Hadoop HA 高可用之旅
记录点点滴滴
11-19 1025
Hadoop HA 高可用之旅概述HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群HDFS-HA 自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置 HDFS-HA 自动故障转移解决 NN 连接不上 JN 的问题YARN-HA 配置YARN-HA 工作机制配置 YARN-HA 集群环境准备规划集群核心问题具体配置启动 YARNHADOOP HA 的最终规划 概述 所谓 HA（Hig
配置Hadoop HA高可用集群：yarn-site.xml详解
"配置Hadoop HA高可用集群的yarn-site.xml文件，重点关注master2节点" 在Hadoop集群中，高可用性（HA）是非常关键的特性，它确保了即使在主节点故障时，服务也能继续运行，从而避免数据丢失和业务中断。本配置主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值