cdh
LifeSecret
追求简单的结束战斗,大部分时间在磨刀霍霍
展开
-
CDH 开始学习喽
在一般的公司中,为了部署方便集群,大家一般选择CDH,我们也是。也正是因为这样,所以一开始的时候大家可能会选择 All in One的策略,就是所有的服务都部署在一台机器里面,或许这台机器的配置只有2C 8GB内存,那么如果量大起来之后,我们是否可以进行扩容呢?如果从网络上搜索, cdh 伪分布式扩展, 可能结果并不满意,所以只能自己撸袖子上了。在这儿不打算长篇大论,只是某些感觉有意思的点写一下:下原创 2016-11-12 17:51:52 · 2055 阅读 · 0 评论 -
cdh 集群版安装后 漂漂亮亮哒
跑着跑着 把笔记本的cpu跑挂了,好在deepin linux及时反应过来,干掉vmware虚机,保证了物理机的运行 在操作系统处理化之后,CDH里面直接看到所有指标都满足了. 只是由于内存不足, 有了些小红色号原创 2017-03-03 15:40:22 · 405 阅读 · 0 评论 -
cdh5 安装的时候dns对其的影响
如果dns是192.168.0.1 我们内网中就是这么配置的那么会的到 [root@cdhmanager cloudera-scm-server]# host -t PTR 192.168.3.133 133.3.168.192.in-addr.arpa domain name pointer bogon.接下来会报个错如果将dns服务器改成223.5.5.5[root@cdhmanager原创 2017-02-24 14:39:08 · 1690 阅读 · 0 评论 -
cdh 报告错误 no jdk 啥的问题处理
之前,安装CDH的时候,使用的是系统自带的openjdk,所以在探测的时候cdh没有找到,虽然也有java命令,但是没有探测到jdk的java_home,所以总会有一个致命的错误显示。处理方法 1. 卸载openjdk 2. rpm -Uvh *.rpm 安装 1_7_79 后就好了重新启动的时候,有幸在日志里面看到说探测到了JAVA_HOME。原创 2017-02-24 16:35:18 · 1369 阅读 · 0 评论 -
cdh clock offset bad health
https://community.cloudera.com/t5/Cloudera-Manager-Installation/Cloudera-5-4-x-cluster-randomly-reports-quot-Clock-Offset-Bad/td-p/31166看起来像是 ntpdc -np执行的结果有些异常ansible hadoopservers -m raw -a 'ntpdc -n原创 2017-03-03 20:47:01 · 2785 阅读 · 0 评论 -
cdh - 常用处理技巧 增加heap内存数量 和扩容磁盘
cdh安装和使用都非常方便,不过随着业务的增加,日常维护中如何消除critical的报警,大致有两个: 1. 增加服务的java heap size, 1GB为单位向上增加 2. 磁盘,如果使用的是aws的gp2,可以在关机,做镜像,然后扩容磁盘后,再用无缝脚本扩容磁盘。原创 2017-03-19 10:51:57 · 3198 阅读 · 0 评论 -
cdhmanager 启动失误导致的满屏挂红
怀疑是cdhmanager的key knowhosts问题 导致cdhmanager和cdhslave2 都无法agent正常上报稍后要出详细报告.一些技术点可以记录下来:cdhmanager 的进程如何彻底关闭ps aux | grep cm-5 | awk '{print $2}' | xargs -i kill -9 {}如何重置一个节点# 如果是agent,rm -rf /opt/原创 2017-03-09 19:33:03 · 413 阅读 · 0 评论 -
计划
cdh如何查看已经suppress的 报警cdh clock offset的报警问题原创 2017-03-10 00:31:25 · 245 阅读 · 0 评论 -
cdh hbase 异常 常用处理办法 +1G java heap 内存
最近遇到的cdh hbase异常情况,第一次增加了 java heap size +1GB,可是第二天依旧异常, 目前处理故障只是知道增加内存, 增加到3GB的时候,今天凌晨的时候就没有爆掉,哈哈。原创 2017-03-21 08:41:22 · 1917 阅读 · 1 评论 -
hbase oldWALs 目录一直增长问题
检查查看日志,看看有没有is out of range如果是这样,恭喜你中奖了,可以参考 http://www.hot123.org/index/content/51254.html 这篇文章,修改哥zookeeper参数,也许有效。检查zookeeper某个节点下是否有值# 如果安装的是CDH5.5.0-0.8/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.原创 2017-02-14 13:46:45 · 3411 阅读 · 0 评论 -
cdh安装最少需要几个库
1个。为啥。因为我见过。 #A for database cm run(""" mysql -e "create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;" """) run(""" mysql -e "grant all privileges on cm.* to 'scm'@'%s' identified by原创 2017-02-09 19:54:48 · 534 阅读 · 0 评论 -
搭建CDH的本地镜像
CDH的镜像我们这里以5.0.5为例,从镜像或者说安装包的角度看,一共有3部分,cm5, 包括了clouder manager agnet以及daemon 甚至java在内的程序cdh5, 里面主要包括了支持的各种组件,比如zk的rpm等parcels,这个就是把cdh5里面的小的包包进行了大的组合,这样,拷贝和分发更容易了。本片文章主要解决的问题是,在安装cdh的时候,由于本身cdh会对/原创 2016-11-14 10:26:12 · 3131 阅读 · 0 评论 -
CDH 新加datanode的目录问题
如果CDH新加入了一个datnode,但是启动后发现目录不对,需要调整,没关系。停止这个datanode配置datanode新的路径, 可以通过 主机 > 选中主机 > 资源,找到datanode带有目录的哪一行,如下图 然后,点击配置进行修改:原创 2016-11-14 18:11:48 · 1901 阅读 · 0 评论 -
CDH 简化操作的几条alias
最烦的就是启动的时候各种命令,各种cd各种cd各种cd# 服务启动alias serverrestart="/opt/cdh-cm/etc/init.d/cloudera-scm-server restart"# 查看 clouder server 日志alias serverlog="tail -fn 100 /opt/cdh-cm/log/cloudera-scm-server/cloude原创 2016-11-15 09:49:01 · 346 阅读 · 0 评论 -
CDH的 monitor内存问题
由于CDH的简单,所以经常会在本地搭建测试环境,但是也正是由于本地测试环境的内存等硬件限制,导致跑起来的CDH东倒西歪。最近就遇到了,安装CDH单机版本之后,显示没有监控数据图像,然后报monitor错误,擦,如何搞。其实这个是由于分配给各种monitor的内存不足导致的,至于为啥分配不足,可能是系统自动按照当前硬件的内存资源自动分配的。看看如何修改。点击 群集 > cloudera managem原创 2016-11-15 11:01:15 · 3385 阅读 · 0 评论 -
CDH 由单机版本的扩容
首先,我们是一台单机版本的CDH加入我们打算迁移namenode到其他的主机 那么会得到提示,必须首先是HA 稍后你还会得到提示,要想HA,必须得有三个JN,也就是JournalNode升级完成后的集群,有两个NN,三个JN 升级的时候,会有服务重启的现象,导致HDFS有短暂不可用的时候,大概几分钟吧。 JN节点在扩容的时候,需要指定目录,虽然有默认,但是你不填是不会放你过去的 下面两原创 2016-11-15 11:08:12 · 961 阅读 · 0 评论 -
CDH 集群如何部署一个新的服务
当我们在搭建CDH的时候,界面上会提示我们选择哪些服务,那么当我们安装完成后,如果想添加之前没有添加的kafka服务,该如何是好呢?下面这张图是点击1之后出现的,其中234分别代表着当前 cloudera manager管理的集群和添加一个新的集群。 真要是添加服务,我们需要在上面的图形中点击 clouder1,或者 从 群集下面选择 cloudera1,然后点击右边的添加服务。原创 2016-11-15 11:33:45 · 3864 阅读 · 0 评论 -
CDH - 简单记录下开启Alert报警功能
CDH对于一般的中小企业来说,是非常必须的,可以省去不少的维护成本,报警对于业务上升期来说尤其重要。今天接到任务,要对CDH进行部署Alert报警,经过一番查看,大致过程如下:点击cluster,选择clustera managerment service, 搜索alert配置smtp name password配置报警人员(或者点击admin settings, 在下拉中找到Alert,配置原创 2017-02-06 20:15:31 · 3113 阅读 · 0 评论 -
cloudera 管理员调整报警标题的两种方法
方法1最简单方式就是在alert配置页面,将title设置成集群的名字方法2就是所谓的script方法,虽然官方import介绍script只是可以用在企业版本里面,可是我发现在我们的非企业版本里面也是可以用的,而且一旦配置,报警将会同时发出两份儿。脚本大致原理是 我们提供一个脚本alert.sh, cdh alert publisher在调用的时候会执行/xxx/alert.sh xxx.json原创 2017-02-07 10:15:37 · 1719 阅读 · 0 评论 -
cdh - 端口开发大全
service name parameter port number HBase REST Server Port hbase.rest.port 20550 HBase REST Server Web UI Port hbase.rest.info.port 8085 HBase Thrift Server Port hbase.regionserver.th原创 2017-04-06 20:12:47 · 4136 阅读 · 0 评论