![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HA
kevin_wf
总结分享java,大数据相关开发运维工作,欢迎交流,共同进步
展开
-
cdh集群oozie启用HA
cdh集群oozie调度器通过 cloudera manager 启用HA。oozie启用HA,需要先安装负载均衡器,我使用的是haproxy。1.安装harpoxyyum install -y haproxy2. 在oozie 操作界面选择启用HA3.选择需要安装oozie角色实例的节点4.配置负载均衡器地址,可以在装完后再配置5. 按照向导执行完成6....原创 2019-08-09 21:45:26 · 1352 阅读 · 1 评论 -
cdh集群sentry 启用HA
cdh集群sentry主用用来进行hive数据权限认证,sentry服务失败后会影响访问hive库的任务。sentry ha的功能是在cdh5.13之后才有的。开启sentry HA 1. 进入sentry 操作,选择启用HA 2. 选择主机安装另一个sentry实例3.根据向导,执行完成...原创 2019-08-09 21:45:04 · 806 阅读 · 1 评论 -
cdh集群resource manager启用 HA
resource manager关系整个集群的任务运行,在生产上必须保证高可靠。resource manager和hdfs namenode的一样自身实现了HA,只需开启,出现异常时会自动切换到正常的resourcemanger。通过cloudera manger管理界面启用resource manager HA。1. 在yarn界面操作,选择启用HA 2..选择另一个节点...原创 2019-08-09 21:44:54 · 1097 阅读 · 0 评论 -
cdh集群hdfs namenode HA
hdfs namenode的健康关系整个集群是否能正常运行,生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。操作步骤:1. 在hdfs - 操作 -选择启用HA2. 填写nameservice名称3.选择另外一台服务器安装namenode ,三个或5个节点安装journalnod...原创 2019-08-09 21:44:29 · 1174 阅读 · 0 评论 -
hue负载均衡
Hue是开源的大数据工作平台,集成了hive,impala,spark,hadoop,sentry ,oozie,hbase等常用大数据服务,基本能满足绝大部分公司的业务日常使用。作为公司对业务开放的开发平台必须稳定,高性能。我们使用haproxy作为负载均衡器,其默认就支持tcp,http协议负载,其它服务使用haproxy 四层负载,统一负载引擎,方便维护管理。1. 前面已安装ha...原创 2019-08-19 18:32:06 · 1123 阅读 · 0 评论 -
cdh集群impala 负载均衡
impala是MPP查询引擎,可以实现秒级响应,并发性能受机器数量,内存影响。impala 与hive共享元数据,hive表可以无缝切换到impala查询(impala不支持hive json, 3.1版本开始支持orc文件格式,建议还是使用parquet文件格式)。 impala 启用负载均衡: 1. 安装haproxy yum insta...原创 2019-08-15 09:09:22 · 1844 阅读 · 0 评论 -
cdh集群hive 启用HA
hive 在离线分析,数仓中是最常用的工具,业务人员不需要熟悉mr,编程基础就可以通过sql操作数据。hive 的性能及稳定性在生产中必须保证。hive可以通过HAPROXY进行多节点负载均衡来达到目的。 hive Metastore 开启HA 1. 进入hive服务配置, 搜索DBTokenStore,选择 org.apache.hadoop.hive.thrif...原创 2019-08-12 22:06:58 · 2106 阅读 · 0 评论