28.1 环境介绍
- 如何使用Cloudera Manager禁用HDFS HA。
- CM和CDH版本为5.13.0
- 拥有Cloudera Manager的管理员账号
- CDH集群已启用HDFS HA并正常使用
28.2 实操
- 使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务
- 点击“禁用High Avaiability”,选择禁用HA后运行NameNode的主机及SecondNameNode主机
- 点击“禁用High Avaiability”,选择禁用HA后运行NameNode的主机及SecondNameNode主机
- 设置HDFS的检查点目录,默认继承SecondNameNode Default Group
- 禁用High Availability
- 禁用成功
- 查看HDFS的实例
- 通过实例列表可以看到HDFS HA相关的服务已被删除,只剩下NameNode和SecondNameNode服务,至此已完成HDFS HA禁用,接下来更新Hive Metastore NameNode及简单的功能测试。
- 更新Hive Metastore NameNode
- 停止Hive服务
- 进入Hive服务,点击“操作”,点击“更新Hive Metastore NameNode”
- 更新完Hive Metastore NameNode,启动Hive服务,至此就完成了Hive Metastore NameNode数据更新。
28.3 验证
28.3.1 HDFS功能可用性测试
- 对HDFS进行mkdir、put、get、rmr等操作,验证HDFS服务功能是否可用。
[root@ip-172-31-6-148 ~]# hadoop fs -mkdir /tmp/test
[root@ip-172-31-6-148 ~]# hadoop fs -put test.tar.gz /tmp/test
[root@ip-172-31-6-148 ~]# hadoop fs -ls /tmp/test
Found 1 items
-rw-r--r-- 3 root supergroup 1180315150 2017-11-23 09:44 /tmp/test/test.tar.gz
[root@ip-172-31-6-148 ~]# rm -rf test.tar.gz
[root@ip-172-31-6-148 ~]# hadoop fs -get /tmp/test/test.tar.gz
[root@ip-172-31-6-148 ~]# ll test.tar.gz
-rw-r--r-- 1 root root 1180315150 Nov 23 09:44 test.tar.gz
[root@ip-172-31-6-148 ~]# hadoop fs -rmr /tmp/test/test.tar.gz
rmr: DEPRECATED: Please use 'rm -r' instead.
17/11/23 09:45:30 INFO fs.TrashPolicyDefault: Moved: 'hdfs://ip-172-31-6-148.fayson.com:8020/tmp/test/test.tar.gz' to trash at: hdfs://ip-172-31-6-148.fayson.com:8020/user/root/.Trash/Current/tmp/test/test.tar.gz
[root@ip-172-31-6-148 ~]# hadoop fs -ls /tmp/test/
[root@ip-172-31-6-148 ~]#
28.3.2 Hive功能测试
-
执行select操作
-
执行insert操作
-
执行count操作
28.3.3 Impala功能测试
-
执行select操作
-
执行insert操作
-
执行count操作
大数据视频推荐:
CSDN
大数据语音推荐:
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通