HDFS HA 集群搭建实录

最新推荐文章于 2024-04-24 18:16:44 发布
最新推荐文章于 2024-04-24 18:16:44 发布
阅读量612 收藏
点赞数 1
分类专栏： apache-hadoop 文章标签： hadoop 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SnowXu01/article/details/108377178
版权

1. 主机与服务规划

1.1 主机规划

主机IPHostNameCPUMEMERYUSERPWD
hadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoop
hadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoop
hadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop

1.2 服务规划

服务hadoop181hadoop182hadoop183
DataNode√√√
Journal Node√√√
NodeManager√√√
Zookeeper√√√
Name Node√√√
ResourceManager√√
HistoryServer√
Secondary NameNode√

2. 安装前主机准备

2.1 主机准备

（1） 克隆三台虚拟机
在这里插入图片描述

2.2 主机初始化

（1） IP地址

# 修改hadoop181的ip为 192.168.207.181
[root@hadoop181 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

# 修改hadoop182的ip为 192.168.207.182
[root@hadoop182 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

# 修改hadoop183的ip为 192.168.207.183
[root@hadoop183 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

（2） 关闭防火墙

# 关闭hadoop181 的防火墙
[root@hadoop181 ~]# systemctl disable firewalld && systemctl stop firewalld

# 关闭hadoop182 的防火墙
[root@hadoop182 ~]# systemctl disable firewalld && systemctl stop firewalld

# 关闭hadoop183 的防火墙
[root@hadoop183 ~]# systemctl disable firewalld && systemctl stop firewalld

（3）关闭 seLinux

# 关闭hadoop181的selinux ， 设置 `SELINUX=disabled` 即可
[root@hadoop181 ~]# vim /etc/selinux/config

# 关闭hadoop182的selinux ， 设置 `SELINUX=disabled` 即可
[root@hadoop182 ~]# vim /etc/selinux/config

# 关闭hadoop183的selinux ， 设置 `SELINUX=disabled` 即可
[root@hadoop183 ~]vim /etc/selinux/config

（4）修改hostname

# 设置 hadoop181 的 hostname 为 hadoop181
[root@hadoop181 ~]# hostnamectl set-hostname hadoop181 # 第一台

# 设置 hadoop182 的 hostname 为 hadoop182
[root@hadoop182 ~]# hostnamectl set-hostname hadoop182 # 第二台

# 设置 hadoop183 的 hostname 为 hadoop183
[root@hadoop183 ~]# hostnamectl set-hostname hadoop183 # 第三台

Note：
这里的显示是因为之前处理过， 所以现实的会是对应的hostname， 没处理过的时候是下面这种显示

 [root@localhost ~]# hostnamectl set-hostname hadoop183 # 第一台

（5）增加hosts文件内容

[root@hadoop181 ~]# vim /etc/hosts
[root@hadoop182 ~]# vim /etc/hosts
[root@hadoop183 ~]# vim /etc/hosts

在三台主机分别追加如下内容

192.168.207.181 hadoop181
192.168.207.182 hadoop182
192.168.207.183 hadoop183

2.3 用户初始化

（1） 创建用户

# 配置hadoop181 上的用户和用户组
[root@hadoop181 ~]# groupadd hadoop
[root@hadoop181 ~]# useradd -s /bin/bash -d /home/hadoop -g hadoop hadoop
[root@hadoop181 ~]# passwd hadoop    # 设置账户密码都为Hadoop

# 配置hadoop182 上的用户和用户组
[root@hadoop182 ~]# groupadd hadoop
[root@hadoop182 ~]# useradd -s /bin/bash -d /home/hadoop -g hadoop hadoop
[root@hadoop182 ~]# passwd hadoop    # 设置账户密码都为Hadoop


# 配置hadoop183 上的用户和用户组
[root@hadoop183 ~]# groupadd hadoop
[root@hadoop183 ~]# useradd -s /bin/bash -d /home/hadoop -g hadoop hadoop
[root@hadoop183 ~]# passwd hadoop    # 设置账户密码都为Hadoop

（2）用新的配置用户sudo提权

[root@hadoop181 ~]#  sudo vim /etc/sudoers
[root@hadoop182 ~]# sudo vim /etc/sudoers
[root@hadoop183 ~]#  sudo vim /etc/sudoers

在三台主机都增加如下内容

hadoop  ALL=(ALL)       NOPASSWD:ALL #增加这一行

示例

在这里插入图片描述

（3）给hadoop用户准备便捷工具

# 现在hadoop用户目录下创建bin目录，然后追加两个脚本工具 分别命名为xsync 和 xssh （文档后面使用的就是这两个脚本）
[hadoop@hadoop181 ~]$ mkdir bin
[hadoop@hadoop181 ~]$ cd bin

（4）集群间免密登陆配置

源主机目标1目标2目标3
hadoop181hadoop181hadoop182hadoop183
hadoop182hadoop181hadoop182hadoop183
hadoop183hadoop181hadoop182hadoop183
# 密钥生成
[hadoop@hadoop181 ~]$ ssh-keygen -t rsa
[hadoop@hadoop182 ~]$ ssh-keygen -t rsa
[hadoop@hadoop183 ~]$ ssh-keygen -t rsa

# 分发hadoop181 到 其他机器的 密钥命令  
[hadoop@hadoop181 ~]$ ssh-copy-id hadoop@hadoop181
[hadoop@hadoop181 ~]$ ssh-copy-id hadoop@hadoop182
[hadoop@hadoop181 ~]$ ssh-copy-id hadoop@hadoop183

# 分发hadoop182 到 其他机器的 密钥命令 
[hadoop@hadoop182 ~]$ ssh-copy-id hadoop@hadoop181
[hadoop@hadoop182 ~]$ ssh-copy-id hadoop@hadoop182
[hadoop@hadoop182 ~]$ ssh-copy-id hadoop@hadoop183

# 分发hadoop183 到 其他机器的 密钥命令 
[hadoop@hadoop183 ~]$ ssh-copy-id hadoop@hadoop181
[hadoop@hadoop183 ~]$ ssh-copy-id hadoop@hadoop182
[hadoop@hadoop183 ~]$ ssh-copy-id hadoop@hadoop183

3.HADOOP HA 集群搭建

3.1 集群需要安装JDK （略）

3.2 安装hadoop （略）

（1） 上传安装包到hadoop加目录下 （本次使用版本hadoop-3.1.3.tar.gz）
（2） 解压安装包

[hadoop@hadoop181 ~]$ tar -zxvf hadoop-3.1.3.tar.gz

（3） 配置hadoop环境变量

[hadoop@hadoop181 hadoop-3.1.3]$ pwd
/home/hadoop/hadoop-3.1.3

[hadoop@hadoop181 hadoop-3.1.3]$ cd ~
[hadoop@hadoop181 ~]$ vim .bashrc

追加如下内容

# JAVA HOME
export JAVA_HOME=/home/hadoop/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

# HADOOP HOME 这个路径是pwd拿到的路径
export HADOOP_HOME=/home/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin

（4） 使环境变量生效

[hadoop@hadoop181 ~]$ source .bashrc

（5） 环境变量分发

[hadoop@hadoop181 ~]$ xsync .bashrc

3.2 zookeeper集群搭建

参考我另一篇笔记 https://blog.csdn.net/SnowXu01/article/details/108372971 zookeeper搭建实录

3.3 HDFS HA 集群搭建

3.3.1 配置core-site.xml 文件

（1） 修改hadoop-env.sh 文件

# 修改 hadoop-env.sh 修改 JAVA_HOME 路径
[hadoop@hadoop181 ~]$ cp $HADOOP_HOME/etc/hadoop/hadoop-env.sh $HADOOP_HOME/etc/hadoop/hadoop-env.sh.back
[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

（2）备份并配置 core-site.xml 文件

# 修改 core-site.xml 文件， 修改前先备份
[hadoop@hadoop181 ~]$ cp $HADOOP_HOME/etc/hadoop/core-site.xml $HADOOP_HOME/etc/hadoop/core-site.xml.back
[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/core-site.xml

（3）配置内容如下

<configuration>
    <!-- 把多个NameNode的地址组装成一个集群hdfscluster -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdfscluster</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.1.3/data/tmp</value>
    </property>
    <!-- 声明journalnode服务器存储目录-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <!-- 特别注意: 这个只有3.* 以后才能这么配置 ； 2.* 的版本只能配置绝对路径 -->
        <value>file://${hadoop.tmp.dir}/jn</value>
    </property>
</configuration>
3.3.2 配置hdfs-site.xml 文件

（1）备份并配置hdfs-site.xml文件

# 修改 core-site.xml 文件， 修改前先备份
[hadoop@hadoop181 ~]$ cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HADOOP_HOME/etc/hadoop/hdfs-site.xml.back
[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

（2）配置内容如下

<configuration>
    <!-- 完全分布式集群名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>hdfscluster</value>
    </property>
    <!-- NameNode数据存储目录 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/name</value>
    </property>
    <!-- DataNode数据存储目录 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/data</value>
    </property>

    <!-- 集群中NameNode节点都有哪些 -->
    <property>
        <name>dfs.ha.namenodes.hdfscluster</name>
        <value>nn1,nn2,nn3</value>
    </property>

    <!-- nn1的RPC通信地址 9820、9000、8020-->
    <property>
        <name>dfs.namenode.rpc-address.hdfscluster.nn1</name>
        <value>hadoop181:9000</value>
    </property>

    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.hdfscluster.nn2</name>
        <value>hadoop182:9000</value>
    </property>
    <!-- nn3的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.hdfscluster.nn3</name>
        <value>hadoop183:9000</value>
    </property>


    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.hdfscluster.nn1</name>
        <value>hadoop181:9870</value>
    </property>

    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.hdfscluster.nn2</name>
        <value>hadoop182:9870</value>
    </property>
    <!-- nn3的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.hdfscluster.nn3</name>
        <value>hadoop183:9870</value>
    </property>

    <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop181:8485;hadoop182:8485;hadoop183:8485/hdfscluster</value>
    </property>

    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应(active)解决脑裂 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>

    <!-- 使用隔离机制时需要ssh无秘钥登录-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>

    <!-- 访问代理类：client用于确定哪个NameNode为Active -->
    <property>
        <name>dfs.client.failover.proxy.provider.hdfscluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 关闭权限检查-->
    <property>
        <name>dfs.permissions.enable</name>
        <value>false</value>
    </property>
</configuration>
3.3.3 清理所有节点中 data 和 logs 目录中的内容

（1） 删除

[hadoop@hadoop181 ~]$ xssh rm -rf $HADOOP_HOME/logs/*
[hadoop@hadoop181 ~]$ xssh rm -rf $HADOOP_HOME/data/*

（2） 确认下是不是都删除了，如果还有就得都清理掉

# 检查logs路径下是不是都清理干净了
[hadoop@hadoop181 ~]$ xssh ls -l $HADOOP_HOME/logs/  
[DEBUG] 1 command is :ls -l /home/hadoop/hadoop-3.1.3/logs/
[DEBUG] 1 command is :ls -l /home/hadoop/hadoop-3.1.3/logs/
[DEBUG] ssh to hadoop181 to execute commands [ ls -l /home/hadoop/hadoop-3.1.3/logs/] 
total 0
[DEBUG] ssh to hadoop182 to execute commands [ ls -l /home/hadoop/hadoop-3.1.3/logs/] 
total 0
[DEBUG] ssh to hadoop183 to execute commands [ ls -l /home/hadoop/hadoop-3.1.3/logs/] 
total 0
[hadoop@hadoop181 ~]$ 

# 检查data路径下是不是都清理干净了
[hadoop@hadoop181 ~]$ xssh ls -l $HADOOP_HOME/data/
[DEBUG] 1 command is :ls -l /home/hadoop/hadoop-3.1.3/data/
[DEBUG] 1 command is :ls -l /home/hadoop/hadoop-3.1.3/data/
[DEBUG] ssh to hadoop181 to execute commands [ ls -l /home/hadoop/hadoop-3.1.3/data/] 
total 0
[DEBUG] ssh to hadoop182 to execute commands [ ls -l /home/hadoop/hadoop-3.1.3/data/] 
total 0
[DEBUG] ssh to hadoop183 to execute commands [ ls -l /home/hadoop/hadoop-3.1.3/data/] 
total 0
[hadoop@hadoop181 ~]$
3.3.4 文件分发，并启动hdfs-ha 集群

(1) 文件分发

[hadoop@hadoop181 ~]$ xsync hadoop-3.1.3

（2）启动所有的zookeeper节点

# 启动
[hadoop@hadoop181 ~]$ xssh /home/hadoop/apache-zookeeper/bin/zkServer.sh start

# 查看一下集群状态，我这里都已经启动了
[hadoop@hadoop181 ~]$ xssh /home/hadoop/apache-zookeeper/bin/zkServer.sh status
[DEBUG] 1 command is :/home/hadoop/apache-zookeeper/bin/zkServer.sh status
[DEBUG] ssh to hadoop181 to execute commands [ /home/hadoop/apache-zookeeper/bin/zkServer.sh status] 
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apache-zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[DEBUG] ssh to hadoop182 to execute commands [ /home/hadoop/apache-zookeeper/bin/zkServer.sh status] 
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apache-zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader
[DEBUG] ssh to hadoop183 to execute commands [ /home/hadoop/apache-zookeeper/bin/zkServer.sh status] 
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apache-zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[hadoop@hadoop181 ~]$

（3）启动所有 journalnode

# 到每个节点都启动
[hadoop@hadoop181 ~]$ xssh $HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

# 启动方式2
[hadoop@hadoop181 ~]$ xssh hdfs --daemon start journalnode

# 查看启动状态 是否有 JournalNode 进程存在
[hadoop@hadoop181 ~]$ xssh jps -l
[DEBUG] 1 command is :jps -l
[DEBUG] ssh to hadoop181 to execute commands [ jps -l] 
2065 org.apache.zookeeper.server.quorum.QuorumPeerMain
3430 org.apache.hadoop.hdfs.qjournal.server.JournalNode
3487 sun.tools.jps.Jps
[DEBUG] ssh to hadoop182 to execute commands [ jps -l] 
1910 org.apache.zookeeper.server.quorum.QuorumPeerMain
3014 org.apache.hadoop.hdfs.qjournal.server.JournalNode
3066 sun.tools.jps.Jps
[DEBUG] ssh to hadoop183 to execute commands [ jps -l] 
1907 org.apache.zookeeper.server.quorum.QuorumPeerMain
2955 org.apache.hadoop.hdfs.qjournal.server.JournalNode
3007 sun.tools.jps.Jps

（4）格式化NameNode

[hadoop@hadoop181 ~]$ hdfs namenode -format

（5） 同步nn1元数据到 nn2 和 nn3

[hadoop@hadoop182 ~]$ hdfs namenode -bootstrapStandby
[hadoop@hadoop183 ~]$ hdfs namenode -bootstrapStandby

（6） 启动 nn2 和 nn3

# 在182 节点上启动 nn2
[hadoop@hadoop182 ~]$ hdfs --daemon start namenode

## 在183 节点上启动 nn3
[hadoop@hadoop183 ~]$ hdfs --daemon start namenode

（7）启动所有节点上的datanode

[hadoop@hadoop181 ~]$ xssh hdfs --daemon start datanode

（8）将 nn1 设置为激活状态

# 这个可以在任意一台nn上执行
[hadoop@hadoop181 ~] hdfs haadmin -transitionToActive nn1

# 查看是否激活， 可以在任意一台nn上执行， 这里我在hadoop183 节点执行
[hadoop@hadoop183 ~]$ hdfs haadmin -getServiceState nn1
active
[hadoop@hadoop183 ~]$
3.3.5 配置hdfs - ha 集群的自动故障转移

（1） 服务规划

服务hadoop181hadoop182hadoop183
DataNode√√√
Journal Node√√√
NodeManager√√√
Zookeeper√√√
ZKFS√√√
Name Node√√
ResourceManager√√
HistoryServer√
Secondary NameNode√

（2） 修改 core-site.xml 文件

# 修改前备份
[hadoop@hadoop181 ~]$ cp $HADOOP_HOME/etc/hadoop/core-site.xml $HADOOP_HOME/etc/hadoop/no-automatic-failover.core-site.xml.back

# 修改文件
[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/core-site.xml

追加如下内容

    <!--指定zk集群的位置-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop181:2181,hadoop182:2181,hadoop183:2181</value>
    </property>

（3） 修改hdfs-site.xml 文件

[hadoop@hadoop181 ~]$ cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HADOOP_HOME/etc/hadoop/no-automatic-failover.hdfs-site.xml.back
[hadoop@hadoop181 ~]$  vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

增加如下内容

    <!--开启故障转移-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

（4）分发这两个配置文件

[hadoop@hadoop181 ~]$ xsync $HADOOP_HOME/etc/hadoop/hdfs-site.xml
[hadoop@hadoop181 ~]$ xsync $HADOOP_HOME/etc/hadoop/core-site.xml

在这里插入图片描述

3.3.6 启动配置自动转移后的集群

（1） 先停止所有的hdfs服务

# 停止所有Hadoop相关的服务
[hadoop@hadoop181 ~]$ stop-all.sh

# 停止zookeeper服务
[hadoop@hadoop181 ~]$ xssh /home/hadoop/apache-zookeeper/bin/zkServer.sh stop

# 检查状态，要确认所有节点都没有服务
[hadoop@hadoop181 logs]$ xssh jps -l
[DEBUG] 1 command is :jps -l
[DEBUG] ssh to hadoop181 to execute commands [ jps -l] 
21683 sun.tools.jps.Jps
[DEBUG] ssh to hadoop182 to execute commands [ jps -l] 
8943 sun.tools.jps.Jps
[DEBUG] ssh to hadoop183 to execute commands [ jps -l] 
9009 sun.tools.jps.Jps

（2） 启动所有节点上的zookeeper 服务

# 启动zookeeper服务
[hadoop@hadoop181 ~]$ xssh /home/hadoop/apache-zookeeper/bin/zkServer.sh start

# 检查启动状态
[hadoop@hadoop181 ~]$ xssh jps -l
[DEBUG] 1 command is :jps -l
[DEBUG] ssh to hadoop181 to execute commands [ jps -l] 
21745 org.apache.zookeeper.server.quorum.QuorumPeerMain
21802 sun.tools.jps.Jps
[DEBUG] ssh to hadoop182 to execute commands [ jps -l] 
9058 sun.tools.jps.Jps
8999 org.apache.zookeeper.server.quorum.QuorumPeerMain
[DEBUG] ssh to hadoop183 to execute commands [ jps -l] 
9065 org.apache.zookeeper.server.quorum.QuorumPeerMain
9117 sun.tools.jps.Jps
[hadoop@hadoop181 logs]$

（3）初始化HA在zookeeper中的状态

[hadoop@hadoop181 ~]$ hdfs zkfc -formatZK

启动所有的hdfs 服务

[hadoop@hadoop181 ~]$ start-dfs.sh

在这里插入图片描述

（4）可以测试下

kill 掉现在激活状态的 nn节点， 然后看看zk中的状态


[hadoop@hadoop181 ~]$ start-dfs.sh

（5） 如果自动故障转移不生效查看zkfc的日志

我的是因为有个系统组件没有找到
在这里插入图片描述
错误信息

2020-09-03 16:12:20,020 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Looking for process running on port 9000
2020-09-03 16:12:20,086 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuser: command not found
2020-09-03 16:12:20,086 INFO org.apache.hadoop.ha.SshFenceByTcpPort: rc: 127
2020-09-03 16:12:20,086 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Disconnecting from hadoop182 port 22
2020-09-03 16:12:20,086 WARN org.apache.hadoop.ha.NodeFencer: Fencing method org.apache.hadoop.ha.SshFenceByTcpPort(null) was unsuccessful.
2020-09-03 16:12:20,086 ERROR org.apache.hadoop.ha.NodeFencer: Unable to fence service by any configured method.
2020-09-03 16:12:20,087 WARN org.apache.hadoop.ha.ActiveStandbyElector: Exception handling the winning of election

解决方案

# 安装fuser这个命令先，所有主机都需要安装
[hadoop@hadoop181 ~]$ xssh sudo yum -y install psmisc

（6） 重新测试

# 看到是哪个nn节点为激活状态
[hadoop@hadoop181 ~]$ hdfs haadmin -getServiceState nn3
active
[hadoop@hadoop181 ~]$ hdfs haadmin -getServiceState nn2
standby
[hadoop@hadoop181 ~]$ hdfs haadmin -getServiceState nn1
standby
[hadoop@hadoop181 ~]$ 

# kill -9 这台nn上的namenode
[hadoop@hadoop181 ~]$ ssh hadoop@hadoop183 "sudo kill -9 16130"  

# kill 之后检查哪个节点是激活状态，这里测试正常了， 这个active已经从nn3到nn2了
[hadoop@hadoop181 ~]$ hdfs haadmin -getServiceState nn1           
standby
[hadoop@hadoop181 ~]$ hdfs haadmin -getServiceState nn2
active
[hadoop@hadoop181 ~]$ 


# kill -9 nn2 的namenode再试试 
[hadoop@hadoop181 ~]$ ssh hadoop@hadoop182 "sudo kill -9 23413"          
[hadoop@hadoop181 ~]$ hdfs haadmin -getServiceState nn1
active

好了 ~~~ 打完收工 ！！！（PS： 被这个warning 坑死， 都没组件了你就不能报个 Error 么 ？？？ 坑我一下午 ）

思诺的小世界
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建手工切换HA的HDFS集群
01-13
搭建手工切换HA的HDFS集群,学习大数据hadoop搭建环境的可以看下，通俗易懂
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件（一）;任务二 修改hdfs-site.xml配置文件（二）;任务二 修改hdfs-site.xml配置文件（三）;任务二 修改hdfs-site.xml配置文件（四）;任务二 修改hdfs-site.xml配置文件（五）;任务三 分发HDFS HA配置文件;任务四 HDFS HA集群的NameNode格式化（一）;任务四 HDFS HA集群的NameNode格式化（二）;任务五 部署完成之后常规启动HDFS HA集群;任务六 验证HDFS HA集群（一）;任务六 验证HDFS HA集群（二）
02 HDFS 文件读写代码详解
随心发挥
12-23 2541
core-site.xml hdfs-site.xml 新建一个JAVA项目 在项目上添加jar包 添加你安装的hadoop目录下的hdfs-hadoop-share—common(lib )和hdfs(lib)（即common和hdfs下的所有jar包） 添加两个配置文件到项目 的src目 录下 （ 配置文件在 新建项目 添加jar包 username—client---hdfs-hadoop-share—common(lib )和hdfs(l...
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2168
HDFS HA 高可用搭建详细图文教程
Java API访问HDFS集群（HA）
LAZKUQZA的博客
07-02 334
title: Java API访问HDFS集群（HA） date: 2021-06-23 17:06:11 tags: HDFS hadoopV2版本及以后都是HA架构，active namenode和standby namenode, 当前active namenode 出现问题之后，zkfc会切换standby namenode 为active 状态保证hadoop集群正常运行，所以java api需要通过配置HA的方式来访问hdfs集群 对于namenode是HA高可用集群时，客户端远程www
Hadoop3.x入门-搭建3节点Hadoop HA集群
小末的博客
04-04 3100
1.前言 本文档适合3节点的Hadoop 高可用（HA：High Available）测试集群集群的搭建。 在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。 本文在上一篇的基础上修改一些配置，将Hadoop集群改造为高可用集群。如果用上一篇文章搭建的集群，首先关闭集群所有进程，删除$HADOOP_HOME/data
客户端连接HDFS高可用集群
WannaRunning的博客
03-20 678
之前写过JAVA使用客户端连接Hadoop的使用，是单节点的情况；生产中使用的都是集群，网上找了好久都没找到详细的有关集群的配置方式，Hadoop nameNode HA集群中客户端需要连接客户端集群各个节点。 方式一：使用XML配置文件加载 这种方式基于Hadoop集群服务中配置的的core-site.xml文件，当然，也可以手写配置文件。（吐槽一下我在做的时候运维只提供一堆IP让我自己猜） configuration = new Configuration(); //通过加载配置文件配置 con
Java API访问hdfs集群（HA）
breakout_alex的博客
10-30 1436
前言 hadoopV2版本及以后都是HA架构，activenamenode和standbynamenode,当前activenamenode出现问题之后，zkfc会切换standbynamenode为active状态保证hadoop集群正常运行，所以javaapi需要通过配置HA的方式来访问hdfs集群； 使用方式 对于namenode是HA高可用集群时，客户端远程访...
java api 访问 HDFS HA（高可用）配置文件配置方法
m18738102014的博客
08-14 1133
private static Configuration getHdfsConf() { String userKeytabPath = PropertiesUtil.getProperty("hive.user.keytab.path"); String userPrincipal = PropertiesUtil.getProperty("hive.us...
高可用hadoop集群搭建
dontlikerabbit的博客
03-21 407
准备工作 安装3台centos7 服务器 配置主机名字hd01\hd02\hd03 hostnamectl set-hostname hd01 查询地址 ip addr 连接xshell：填写名称:hostname 主机：ip地址 用户身份验证 可以向xshell窗口拖拽文件： yum -y install lrzsz hostname和ip地址形成映射： vi /etc/hosts 192.168.181.131 hd01 192.168.181.132 hd02 192.168.18
HDFS集群搭建
07-02
HDFS能 够提供对数据的可扩展访问，通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构，同现 有的一些文件系 统类似，如可以对文件进行创建、删除、重命名等操作。
Hadoop2.0 HA集群搭建步骤
08-11
所谓HA，即高可用，实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA；通过双namenode消除单点故障；通过双namenode协调工作
Hadoop HA集群配置.docx
08-23
hadoop-HA集群运作机制介绍 所谓HA,即高可用(7*24小时不中断服务),实现高可用最关键的是消除单点故障。hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA.
【Hadoop】-Apache Hive使用语法与概念原理[15]
最新发布
weixin_63106307的博客
04-24 526
使用location关键字，可以指定数据库在HDFS的存储路径。/user/hive/warehouse内。数据库本质上就是在HDFS之上的文件夹。
Spark---RDD的创建分类和基础操作算子详解
onthe_wing的博客
04-21 751
转换算子(Transformations) (如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。集合中的每一个元素，都要作用func匿名函数，返回0到多个新的元素，这些新的元素共同构成一个新的RDD。是一个one-to-many的操作。
ELK日志系统的搭建
adminstate的博客
04-23 1066
ELK日志系统搭建
ElasticSearch 入门学习
灰熊
04-23 801
ElasticsSearch 是一个分布式的实时文档存储，每个字段可以被索引与搜索也是一个分布式实时分析搜索引擎也是一个能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。
大数据技术应用实训室解决方案
whwzzc的博客
04-22 1072
大数据实验实训课程体系的设计依据主要围绕培养目标、培养方案和课程体系建设三个方面来展开。大数据实验实训课程的设计旨在培养具备大数据理论知识和实践技能的专业人才。具体而言，这些人才应该能够熟练掌握大数据处理和分析的核心技术，具备独立设计和实施大数据应用的能力。同时，他们还应具备创新思维和团队协作精神，能够适应大数据行业的快速发展和变化。通过实训课程的训练，学生能够熟悉主流的大数据平台和工具，了解大数据应用的最新趋势和场景，为未来的职业发展打下坚实的基础。
Elasticsearch进阶篇(三)：ik分词器的使用与项目应用
后端开发
04-21 930
本文详细介绍了在Elasticsearch中安装、配置和使用IK分词器的过程。首先，它提供了两种安装方式：使用已编译的包文件或者源代码编译。然后，说明了如何将分词器安装到Elasticsearch中，并启动Elasticsearch来验证安装是否成功。接下来，介绍了IK分词器提供的两种主要分词模式：细粒度分词模式（ik_max_word）和智能分词模式（ik_smart），并展示了它们的使用示例。最后，它详细解释了IK分词器的配置文件作用，包括主要的配置文件和自定义词库的使用方法，并提供了相关的参考链接
配置HDFS-HA集群
09-02
是的，配置HDFS-HA集群时，Zookeeper是必需的。Zookeeper是一个开源的分布式协调服务，它用于协调和管理Hadoop集群中的各种组件。在HDFS-HA集群中，Zookeeper用于管理和维护HA状态信息，包括主备NameNode的选举和故障转移等操作。 通过使用Zookeeper，HDFS集群中的各个组件可以共享和访问HA相关的元数据信息，以实现高可用性的故障转移。因此，要实现HDFS-HA集群，你需要配置和启动Zookeeper集群，并确保它正常运行。 在HDFS配置文件中，你需要指定Zookeeper的连接信息和相关配置，以便HDFS可以与Zookeeper进行通信并使用其提供的功能。这样，HDFS集群就可以通过Zookeeper来管理HA状态和故障转移。 总结来说，配置HDFS-HA集群时，确保正确配置和启动Zookeeper是非常重要的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值