大数据运维之cloudera manager日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
cloudera manager修改mysql端口后,cm service服务报错解决
1.在修改完cm的元数据库mysql的端口为3318后,会发现cloudera manager service服务无法使用,并且日志报错无法打开链接2.可以这样做(1)首先备份cm数据库,备份后删除cm数据库,并停掉cm server服务: mysqldump -uroot -pmima --databases cm > backdb.sql(2)修改/cm-5.16.1...原创 2020-01-15 18:39:13 · 1379 阅读 · 0 评论 -
如何解决Cloudera Manager主机页面出现重复主机异常
问题重现通过Cloudera Manager主页访问“主机”页面,发现其中一台主机有2条重复的记录,一条有角色相关信息但是心跳明显超时很久了,另外一台有心跳但是没有主机角色信息,而且所有主机都是未知状态,如下:回到Cloudera Manager主页也发现无论是Cloudera Management Service还是集群的Hadoop服务都是未知状态。...转载 2019-12-10 18:09:26 · 1022 阅读 · 2 评论 -
cm中禁止namenode格式化
转载来自:https://cloud.tencent.com/developer/article/1349372如何禁止Namenode格式化在这篇文章中:1 文档编写目的 2 禁止Namenode格式化 2.1 从格式化到跑路 2.2 配置高级参数 3 参数功能验证 4 总结1 文档编写目的众所周知,Namenode存放Hadoop集群的元数据,Datanode...转载 2019-03-26 09:38:32 · 367 阅读 · 0 评论 -
cm添加nfs失败
转载来自:https://www.cnblogs.com/modestmt/p/4540818.html1 NFS 有可能启不起来, 查看日志显示:No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to sta...转载 2019-03-25 17:12:14 · 173 阅读 · 0 评论 -
cm hbase客户端部署bug 和hbase server jvm配置 未知告警
问题如下:您好:(1)我们在cm集群,安装hbase服务的时候遇到了两个问题。一:在cm装好hbase后,我们给hbase指定了一组新的zk,并修改了如下连个值:1 Service Monitor 客户端配置替代:hbase.zookeeper.quorum:新zk2 hbase-site.xml 的 HBase 服务高级配置代码段(安全阀):hbase.zookeeper.quoru...原创 2019-04-22 17:11:20 · 419 阅读 · 0 评论 -
cm不支持hive,hbase等使用不同的zookeeper
参考:https://my.cloudera.com/knowledge/Configuring-Dependent-Services-To-Use-Different-ZooKeeper?id=72265(1)选择zk服务时, cm默认用第一个nn-zookeeper.,若点击rm-zookeeper,会报错com.cloudera.cmf.command.CmdExecEx...转载 2019-04-19 16:05:23 · 513 阅读 · 0 评论 -
CM所有监控指标
转载来自cm case Case 276303 - cm页面图表问题 (1)经过我对文档的研究,我认为CM应该是没有办法获取到每个HDFS用户的存储使用量。(2)这个文档包含了所有CM可以监控到的metric, 你可以查看一下是否有您需要的信息https://www.cloudera.com/documentation/enterprise/5-13-x/topic...转载 2019-03-04 09:20:51 · 1246 阅读 · 0 评论 -
cm5.5.4重启起不来的agent
转载来自开老板(1)使用clean方式重启agent:/opt/cm-5.5.4/etc/init.d/cloudera-scm-agent clean_restartThe 'clean_restart' command is not supported on systemd based distributions. Please separately invoke the 'next_...转载 2018-12-03 15:45:05 · 1291 阅读 · 0 评论 -
CM设置RM日志级别为DEBUG
转载来自开老板1.点击Yarn-》配置-》日志-》下滑找到ResourceManager 记录阈值,选择日志等级为DEBUG 2.保存配置,然后重启RM生效。 效果如下:/var/log/hadoop-yarn/*resourcemanager*不过不建议开启:因为是一分钟10个日志大概,每个200M,刷新太快,服务器承受不住,该技能有点鸡肋 ...转载 2018-12-03 15:42:58 · 1136 阅读 · 0 评论 -
cm-5.13下配置hbase客户端,hive客户端,hadoop客户端,spark客户端
一:hadoop客户端配置1.软件要求:hadoop2.60-cdh5.13(感觉要求不是很严格,版本兼容性很好,后来证明我错了,hive-1.1.0-cdh5.13,要求必须是hadoop-cdh5.13的,具体的hadoop2.X或者其他不知道,但是cdh必须是5.13,不然会出现hive能创建表和插入数据,但是却无法查看的问题。)jdk1.82.配置流程:cm-serve...原创 2018-02-09 15:26:12 · 2247 阅读 · 0 评论 -
cm 无法启动NFS GateWay
转载来自:https://www.cnblogs.com/modestmt/p/4540818.html(1)报错如下:.....+ connect_to_port 111+ PORT=111+ python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s....转载 2019-01-15 14:15:45 · 456 阅读 · 0 评论 -
cm集群开机自启服务
1.case101259 回复如下:机器重启后CDH服务是会自动起来的。CDH的服务在节点上是通过cloudera-scm-agent来控制的。 您可以查看一下cloudera-scm-agent和cloudera-scm-server这两个服务是不是配置成了重启后自动启动。2.在centos7下,设置开机自启:chmod 755 /etc/rc.d/rc.localecho '...转载 2019-02-21 10:19:48 · 901 阅读 · 0 评论 -
cm 服务安装地址
https://www.cloudera.com/documentation/enterprise/latest/topics/admin_hdfs_nfsgateway.html转载 2019-01-15 14:23:27 · 417 阅读 · 0 评论 -
CM集群管理注意事项
一.节点下线:出先问题:大批量丢死块(2000多个)原因:下线节点的时候一块下了10个节点。解决办法:3个副本下线机器的时候最好2台2台的下,还要看nn(50070主页面)页面上的进度,到0了以后在删除节点。文本解释:Decommission Datanode就是把Datanode从HDFS集群中移除掉。 Datanode是存储实际数据的,因此在Decommission Datanode的时候需要...原创 2018-04-17 10:59:13 · 1548 阅读 · 0 评论