cdh5
文章平均质量分 86
浅汐王
这个作者很懒,什么都没留下…
展开
-
CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决
简介: CDH的parcel包中是没有kafka的,kafka被剥离了出来,需要从新下载parcel包安装。或者在线安装,但是在线安装都很慢,这里使用下载parcel包离线安装的方式。 PS:kafka有很多版本,CDH也有很多版本,那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍,文档地址:https://www.cloudera.com/documenta原创 2017-10-27 16:29:36 · 306 阅读 · 0 评论 -
CDH集群调优:内存、Vcores和DRF
吐槽 最近“闲”来无事,通过CM把vcores使用情况调出来看了一眼,发现不论集群中有多少个任务在跑,已分配的VCores始终不会超过120。而集群的可用Vcores是360(15台机器×24虚拟核)。这就相当于CPU资源只用到了1/3,作为一个半强迫症患者绝对不能容忍这样的事情发生。 分析的过程不表,其实很简单就是几个参数的问题。本以为CM能智能的将这些东西配好,现在看来好像不行。以转载 2017-10-27 16:36:49 · 354 阅读 · 0 评论 -
CDH5.11离线安装或者升级spark2.x
简介: 在我的CDH5.11集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本,均告成功。这里做一下安装spark2.1版本的步骤记录。原创 2017-10-27 16:45:28 · 1145 阅读 · 1 评论 -
CDH5 快速入门
0.体系架构 CM分为Server与Agent两部分及数据库(自带更改过的嵌入Postgresql)。它主要做三件事件: 1.管理监控集群主机。 2.统一管理配置。 3.管理维护Hadoop平台系统。 实现采用C/S结构,Agent为客户端负责执行服务端发来的命令,执行方式一般为使用python调用相应的服务shell脚本。Server端为Java REST服务,提供REST API转载 2017-10-10 22:49:40 · 885 阅读 · 0 评论