![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDH
微步229
这个作者很懒,什么都没留下…
展开
-
CDH集群调优:内存、Vcores和DRF
吐槽最近“闲”来无事,通过CM把vcores使用情况调出来看了一眼,发现不论集群中有多少个任务在跑,已分配的VCores始终不会超过120。而集群的可用Vcores是360(15台机器×24虚拟核)。这就相当于CPU资源只用到了1/3,作为一个半强迫症患者绝对不能容忍这样的事情发生。分析的过程不表,其实很简单就是几个参数的问题。本以为CM能智能的将这些东西配好,现在看来好像不行。以转载 2018-01-13 22:52:05 · 3218 阅读 · 1 评论 -
cdh内存分配参考文档
基于以下环境提供参考值: 5台内存32G、cpu8核的服务器,操作系统为centos6.8 总内存: 160G 总核数: 40核 不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么:值= 推荐值 X 系数hdfs参数解释值NameNode 的 Java 堆栈大小Java 进程堆栈内存的最大大小,改Java进程主要是:维护整个系统的的文件目录树,维护文件/目录的信息和每个文件对应...转载 2018-05-21 15:24:36 · 1580 阅读 · 0 评论 -
CDH从入门到精通系列文章汇总
CDH从入门到精通系列文章汇总(CDH运维方面):入口地址:https://mp.weixin.qq.com/s/QrQN6F54P7dUeWIJqS9QSQ原创 2018-08-20 08:50:16 · 4219 阅读 · 0 评论 -
CDH邮件报警配置
话不多说直接给CDH邮件报警配置 一、点击进入Cloudera Management Service页面,如下图 二、进入Cloudera Management Service页面后,点击配置-》输入alert,按照下图修改即可 邮件服务器主机名称:根据自己实际情况选择,可用smtp.163.com、smtp.qq.com等邮件服务器用户名:对应邮件服务器的邮箱...原创 2018-08-21 13:35:45 · 5742 阅读 · 1 评论 -
CDH Oozie邮件配置
一、从Cloudera Manager进入Oozie配置 二、搜索框输入email,配置邮件相关字段,总共5个地方1、Oozie 电子邮件操作 SMTP 主机:即邮件服务器主机名,比如smtp.163.com、smtp.qq.com等2、Oozie 电子邮件操作发件人地址:邮件发件人地址,如xxx.163.com3、启用身份验证4、Oozie 电子邮件操...原创 2018-08-24 14:33:09 · 2032 阅读 · 1 评论 -
CDH交换内存警告解决方法
交换内存定义:Linux中Swap(即:交换分区),类似于Windows的虚拟内存,就是当内存不足的时候,把一部分硬盘空间虚拟成内存使用,从而解决内存容量不足的情况 现象:交换内存警告如下 解决方法:1、设置swappiness值为0,表示尽可能不使用交换内存(1)临时设置方案,重启后设置不生效[root@cdh-001 ~]# sysctl vm.swappine...原创 2018-08-21 18:19:17 · 13908 阅读 · 1 评论 -
hue解决下载10万行的限制
一、问题描述:通过HUE impala/hive查询后,导出查询结果集最多只有10万行 二、问题原因:Hue默认配置原因,默认现在行数为10万行,列数为100列注意:应该以hue管理员账户登录,否则看不到配置 三、解决方案:修改hue所在机器的默认配置后,重启hue即可[root@cdh-001 ~]# find / -name beeswax 查找配置文件所在...原创 2019-01-07 11:17:35 · 5863 阅读 · 4 评论 -
CDH中所有主机平均负载含义
一、CDH主机列表中的平均负载中的三个数字如下图,分别表示1分钟、5分钟、15分钟的负载情况二、系统平均负载-基本解释先大致给一下这3个数字的含义:分别表示系统在过去1分钟、5分钟、15分钟内运行进程队列中的平均进程数量。在Linux shell下,有很多命令可以看到Load Average,例如:root@Slyar.com:~# uptime12:49:10 up ...原创 2019-07-11 17:47:26 · 1328 阅读 · 0 评论