CDH
CDH
没有合适的昵称
个人工作学习笔记
展开
-
CDH集群日志数据清理--val/lib
rm /var/lib/cloudera-host-monitor/ts/*/partition*/* -rfrm /var/lib/cloudera-service-monitor/ts/*/partition*/* -rf参考:https://www.cnblogs.com/qinglanmei/p/11455010.html我主要清理cloudera-host-monitor和clo...原创 2020-02-03 12:41:39 · 1905 阅读 · 2 评论 -
CDH调优 -- hive部分(调优部分将持续更新)
hive的默认配置:hive.fetch.task.conversion为minimal,在hue中执行一个简单的查询语句:select * from where id =898(数据量50W,字段15,数据文件大小:100M+),执行时间:12S+在修改为more配置后,如上图,hue执行的结果,只需要2S+,性能提升了6倍,第二次执行,查询的结果时间0.5S,并且修改ID,查询依旧保持在0...原创 2019-11-26 14:15:53 · 3890 阅读 · 0 评论 -
转 HDFS数据不均衡解决方案:基于剩余空间大小的均衡策略
https://blog.csdn.net/Androidlushangderen/article/details/78308893转载 2019-11-26 13:47:36 · 1939 阅读 · 0 评论 -
CDH集群HDFS磁盘扩容及去除磁盘的问题
将磁盘挂载到指定的目录下1.为新磁盘创建分区fdisk -l2. 指定磁盘创建分区fdisk /dev/vdbCommand (m for help): n(n表示创建分区)Partition type:(表示磁盘有两种分区类型:“p”表示主分区。“e”表示扩展分区。)(磁盘使用MBR分区形式,最多可以创建4个主分区,或者3个主分区加1个扩展分区,扩展分区不可以直接使用,需要...原创 2019-11-21 09:01:15 · 3400 阅读 · 0 评论 -
记录一次华为云主机安装CDH6的坑
1.使用华为云的鲲鹏服务器,因为是ARM架构,导致安装不上CDH,源码编译HDP也老是报错,可能原因是:底层系统架构的改变,以及鲲鹏服务器现阶段还不够成熟,搞了博主三天,没有解决问题,只好换个服务器2.华为云的服务器,其hosts文件如下:::1 localhost localhost.localdomain localhost6 localhost6.loca...原创 2019-11-20 10:38:45 · 2299 阅读 · 4 评论 -
CDH6.2.0安装
写文档很累了,就不粘贴复制了,需要的到下方链接下载,没有C币的请留下联系方式,我私发你原创 2019-10-07 21:10:07 · 778 阅读 · 0 评论 -
cdh5.14.X集群的安装
相关软件:链接:https://pan.baidu.com/s/1oCvrk6YEfEGCQeCVW6OzmQ 提取码:6jco注意centos要下载el7的,我就因为一开始不清楚下的el5,结果提示parcels不知道redhat7,搞了好久才还原到初始重新来过角色分配以上的角色分配可以参考:https://www.cloudera.com/documentation/enterpr...原创 2019-09-08 09:22:28 · 1660 阅读 · 0 评论