CDH集群离线搭建(适用内网)——集群的高可用配置⑦

已于 2024-03-13 09:31:14 修改
阅读量226 收藏 1
点赞数 2
分类专栏： Hadoop 文章标签： hadoop 大数据 分布式
于 2024-03-12 13:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_red/article/details/136627447
版权
本文详细介绍了如何在CDH集群中配置HDFS的高可用性，包括Hue服务的HTTPFS角色设置，HiveMetastoreNameNodes的更新，以及YARN和Sentry的高可用配置。上下文围绕离线搭建，涉及步骤和实例安装。
摘要由CSDN通过智能技术生成

集群的高可用配置

1.hdfs高可用

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.安装HDFS的HA后配置hue与hive

1.配置hue

将 Hue 服务 Hue 的 HDFS Web 界面角色 配置为 HTTPFS 角色，而非 NameNode。 Documentation

1.1 安装HdfsFS

  1. 添加角色实例

    在这里插入图片描述

装在管理节点上

在这里插入图片描述

1.2 配置hue

点击配置选择HttpFS,并保存更改

在这里插入图片描述

重启hdfs和hue。

2.配置hive

1.停止hive

在这里插入图片描述

更新 Hive Metastore NameNodes

在这里插入图片描述

在这里插入图片描述

重新启动hive

3.yarn高可用

在这里插入图片描述

在这里插入图片描述

4.sentry高可用

在这里插入图片描述

在这里插入图片描述
上一篇
CDH集群离线搭建(适用内网)——集群组件界面安装⑥

下一篇
CDH集群离线搭建(适用内网)——impala高可用配置⑧

小戈爱学习
关注
专栏目录
CDH6.0.1集群完全离线安装
tt_cxy的博客
03-28 3817
来自 张秋雨 的 cdh6.0.1部署文档
CDH5.15离线搭建简易版集群（完整版）
Johnzhc的博客
07-19 2638
                                 运用CDH5.15离线搭建简易版集群 关于CDH和Cloudera CDH（Cloudera的发行版，包括Apache Hadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境.Cloudera Manager则是为了便于在集群中进...
CDH6.2.1 hdfs 高可用配置
我思，顾我在
10-22 1297
1.先进入HDFS集群的管理界面 2. 启用 HDFS 的 High Availability 3. 自定义名称 4. 分配角色 5. JournalNode 编辑目录 6. 启用 High Availability 命令 7. 访问Web UI
CDH 6.3.2启用HDFS高可用
最新发布
Aidon博客
02-22 1108
CDH 6.3.2启用HDFS高可用 CDH启用HDFS HA CDH 6.3.2升级HDFS高可用 CDH升级HDFS HA
CDH版本的HDFS的高可用-拒绝SPOF
weixin_33755557的博客
10-28 156
2019独角兽企业重金招聘Python工程师标准>>> ...
CDH HDFS High Availability（CDH启用HDFS高可用）5.11.x
飞朋的博客
10-25 2338
Table of Contents HDFS高可用性介绍 背景 HA实现 Quorum-based存储 自动故障转移 关于HDFS HA的一般问题 “Operation category READ/WRITE is not supported in state standby”是什么意思? 为HDFS HA配置硬件 开启HDFS HA 使用 Cloudera 管理器启用 HDF...
CDH集群离线部署
凉城凉心凉忆悲
01-10 979
CDH集群部署   离线安装CDH-5.7.5版本 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera
CDH集群搭建详细步骤
wanghenghengheng的博客
04-11 7461
CDH集群搭建笔记 企业： 第一个方面： 数据分析 第二个方面： 数据检索 基本组件： * Zookeeper 分布式协作框架 节点数目 测试集群：3 个 生产集群： >> 小型集群, 3 个或者 5个 >> 中型机群，５　个　或者　７个 >> 大型机群, 奇数个 * HDFS 存储...
CDH-5.10.2集群的搭建【史上最全，不全不要钱】（已经实现，但是非预期效果，可能是由于内存不足）
热门推荐
Null的博客
06-28 1万+
说在前面的话：本文适合电脑内存16G以上的，安装的是纯正的CDH，不是三个节点的，纯正四节点。建议配置主节点3G内存，从节点1.5G内存，硬盘大小建议单节点配置20G以上，CDH版本比apache吃内存和硬盘，请准备好再安装 如果你是新手学习，强烈！建议不要瞎改瞎命名，因为后面都是有关联的。如果跟我的一模一样，完全无脑CV保证安装成功，安装过程中遇到的报错各种问题都在相应的环节有说明，不要慌...
CDH集群部署.doc
03-21
采用在VM虚拟机上搭建方案，虚拟机环境VMware Workstation Pro12；虚拟三台机器方案，一主两备；内存：主节点4G，磁盘50G；目标集群作为测试环境使用，主要用于本机开发及维护测试。
CDH构建大数据平台-HDFS高可用案例实操 　　　　　　　　　　　　　　　　　　　　　　　
weixin_46576686的博客
10-26 696
一.禁用HDFS的HA模式 1>.通过CM的主界面进入HDFS集群的管理界面 2>.点击HDFS的操作按钮，启用HDFS的高可用 3>.自定义HDFS集群的名称 4>.选择NameNode节点 5>.添加JournalNode的主机 6>.指定journalNode数据的存储目录 7>.启用 HDFS的高可用模式 8>.高可用启用完成 9>.HDFS High Availability 启动成功...
CDH集群高可用配置方法
清平乐的技术专栏
03-28 3128
一、高可用（HA）介绍 CDH高可用主要是HDFS和YARN，在保证hdfs数据不丢失的情况下，即使有节点宕机，重启即可也不会有影响。 HDFS 1.0中虽然存在一个第二名称节点（Secondary NameNode），但第二名称节点无法提供“热备份”功能，一旦名称节点发生故障，系统需要停机恢复。HDFS 2.0 采用HA(High Availability)架构,解决了NameNode 单点故障...
Hadoop 0.23 CDH4 高可用集群指南
SavageGarden_Love的专栏
03-26 197
  CDH4 高可用集群指南   一、 Hadoop 的高可用性   1. 概论 本指南提供了一个HDFS 的高可用性（HA ）功能的概述，以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情，请参阅Apache 的...
CDH高可用部署
天涯云海的专栏
01-17 3208
前期准备 配置hosts 192.168.245.105 scm-node1 192.168.245.106 scm-node2 192.168.245.107 scm-node3 设置hostname 在192.168.245.105上执行 sudo hostnamectl --static --transient set-hostname scm-node1 在192.168.245....
cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南
weixin_30411997的博客
02-10 517
hue下载地址：https://github.com/cloudera/hue hue学习文档地址：http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 我目前使用的是hue-3.7.0-cdh5.3.6 hue（HUE=Hadoop User Experience） Hue是一个开源的Apache Ha...
HDFS 高可用（HA）分布式集群安装部署（CDH）
leifeng100200的博客
09-28 479
详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572 1.下载Hadoop安装包 Apache版本下载地址：https://archive.apache.org/dist/hadoop/common/ CDH版本下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/ 这里下载hadoo...
YARN 高可用（HA）集群搭建（CDH）
leifeng100200的博客
09-28 1446
详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572 HDFS 高可用集群安装完成之后，紧接着快速搞定YARN的集群搭建。 1.修改YARN配置文件 1.1修改yarn-site.xml <configuration> <property> <name>yarn.resourcemanager....
CDH 6.1.1完全离线安装分享
super小靖
03-02 9057
CDH6.1.1 完全离线安装分享前言说明安装步骤一、虚拟机IP配置二、配置hostname三、配置hosts四、禁用防火墙五、卸载mariadb软件六、禁用SELinux功能七、配置SSH 登陆端口八、安装软件九、所有的机器都相同的安装十、配置时钟同步1、server服务器配置2、client 服务配置十一、配置 repos服务1、下载2、拷贝到一台网路环境比较好的机器上3、解压缩，建立rpm包服务器4、...
CDH5离线安装全攻略：Cloudera Hadoop集群搭建
选择CDH的原因主要有两点：一是Cloudera Manager的强大管理能力，它使得集群配置、监控和维护变得更加简单，这对运维团队来说是一大福音。二是CDH中的Impala，这是一个快速的交互式SQL查询引擎，适合实时数据分析，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值