CDH平台问题
文章平均质量分 92
笨鸟的平凡之路
这个作者很懒,什么都没留下…
展开
-
笨鸟的平凡之路-安装CDH
准备工作相关节点及压缩包的准备,从官网下载cloudera-manager和CDH 5.11.2 parcel文件.CM 下载地址:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.11.2_x86_64.tar.gzCDH parcel 下载地址:http://archive.cloudera.com/cdh5/...原创 2019-06-14 09:32:41 · 557 阅读 · 2 评论 -
笨鸟的平凡之路-CDH集群角色和节点数规划建议
1、 CDH组件角色说明Hadoop 集群服务器按照节点任务的不同可以分为管理节点和工作节点。管理节点上部署各组件的管理角色,工作节点部署各角色的存储、容器或计算角色。但因为Hadoop 不同组件之间兼容性的问题,所以一般使用Cloudera 套件。 在CDH套件中就有如下角色。2、 CDH 节点数量建议2.1 小规模集群一般来说,小于20个节点的都属于小规模集群,受限于集群的存储和处...原创 2019-06-14 09:46:12 · 5282 阅读 · 1 评论 -
笨鸟的平凡之路-记一次CDH的错
在安装CDH的时候用的是ntp,但是未生效,原因是dns没有更改,连不了外网,后来在安装ES的时候将所有机器的dns都更改了,时间同步到了网络时间.但是之前已经安装完了CDH,导致CDH出错.之后将**/var/lib/cloudera-host-monitor和/var/lib/cloudera-service-monitor**这两个目录下的数据移动到别的目录,比如我自己创建了一个新的目录...原创 2019-07-08 17:14:31 · 221 阅读 · 0 评论 -
笨鸟的平凡之路-CDH参数的修改
修改CDH应该先重启组件,然后再部署客户端配置.1.调整NodeManager计算节点的内存大小<property><name>yarn.nodemanager.resource.memory-mb</name><value>8192</value><discription>每个节点可用内存,单位MB,默认是1g,...原创 2019-07-09 14:18:02 · 435 阅读 · 0 评论 -
笨鸟的平凡之路-Service Monitor未找到活动 Master(Hbase)
因为停电,几台虚拟机被动挂掉,来电后启动CDH,发现Hbase的Master爆红解决错误万变不离其中,找log日志.索性将hdfs上hbase的/WALs下所有的文件移动到别的目录下[root@master01 zookeeper]# hdfs dfs -mv /hbase/WALs/* /xuyi然后重新启动HbaseHbase恢复正常....原创 2019-07-16 18:10:11 · 3206 阅读 · 0 评论