CDH
bboy枫亭
技术栈:
Java、Python、Scala、Shell
大数据开发
Linux
展开
-
服务器资源监控脚本(钉钉告警——CPU、内存、磁盘等)
#!/bin/bash###############################################Author: bboy枫亭#Last modified: 2021-08-06###############################################获取cpu使用率cpuUsage=`top | head -5 | awk -F '[, ]+' 'NR==3 {print $11}'`#获取磁盘使用率data_name="/" diskU原创 2021-09-09 18:20:18 · 1187 阅读 · 1 评论 -
服务器监控告警配置(钉钉)
服务监控告警——钉钉群机器人1、新建钉钉群机器人2、编写 Shell 脚本3、定时任务4、部分效果截图本文演示一个利用钉钉群监控、告警服务器运行服务所处的状态。1、新建钉钉群机器人2、编写 Shell 脚本#!/bin/bash#端口 Port_Nginx="80" Port_MySQL="3306"#...此处省略多个端口,按照自己需求配置即可 Port_flink="xxx" #网卡配置(可选)# ifconfig="eth0"#@管理员手机号 user="xxx"原创 2021-08-02 14:32:09 · 1169 阅读 · 0 评论 -
CDH 配置告警服务(邮箱+企业微信)
如何在 CDH 集群出现问题的第一时间通知自己去处理呢?本文提供了两种方法:一、邮箱告警二、企业微信群机器人告警本文提供了两种方法:)一、邮箱告警这个比较简单,此处以QQ邮箱为例(其他同理)。进入QQ邮箱 -> 邮箱设置-> 账户->IMAP/SMTP服务点击开启 IMAP/SMTP服务 则会提示验证。验证后会提供一个授权码,将授权码复制一下。进入 Cloudera Manager Service 的配置页面,搜索框输入 alert 搜索找到邮箱配置。参考下面截图配置原创 2021-06-15 18:59:39 · 2331 阅读 · 3 评论 -
No portmap or rpcbind service is running on this host.
CDH 安装 HDFS ,NFS Gateway 这个角色启动失败,报错:Traceback (most recent call last): File "<string>", line 1, in <module> File "/usr/lib64/python2.7/socket.py", line 224, in meth return getattr(self._sock,name)(*args)socket.error: [Errno 111] Connect原创 2021-06-08 14:11:40 · 651 阅读 · 0 评论 -
CDH6——HDFS 开关纠删码策略
目录前言如何更换策略开启策略的命令关闭策略的命令前言今天在自己虚拟机上搭建 CDH ,安装 HDFS 后,报这个警告大概意思是说:HDFS 使用的 RS-6-3-1024k 编码纠删码策略至少需要9个DataNodes,当前只安装了1个,所以再增加8个DataNodes节点即可解决该问题。但是自己电脑哪里能装这么多节点,索性直接把它禁了算了。那么如何禁止策略呢,再往下看不难发现给了提示:执行这个命令即可。下面对这类命令进行小结,达到举一反三的学习效果。如何更换策略要执行这类命令首先要切原创 2021-06-08 11:34:00 · 695 阅读 · 0 评论 -
Cannot create directory xxx. Name node is in safe mode
安装CDH,初始化HDFS的过程中报错Cannot create directory /tmp. Name node is in safe modehdfs在启动开始时会进入安全模式,这时文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。解决办法原创 2021-06-04 18:05:59 · 2132 阅读 · 2 评论 -
CDH问题总结——主机运行状况不良
看下官方文档给的解决办法:https://docs.cloudera.com/documentation/enterprise/release-notes/topics/cm_rn_known_issues.html#rn_OPSAPS-34847 (CDH5和6都可以用这个办法)问题所在:Block agents from heartbeating to a Cloudera Manager with different UUID until agent restartcm_guid 文件的内容就.原创 2021-06-03 13:33:44 · 3317 阅读 · 2 评论 -
CDH问题总结——Tables have unsupported engine type [xxx]. InnoDB is required.
目录1. 问题描述1.1 我遇到的报错信息1.2 总结此类报错信息2. 解决办法2.1 查看日志2.2 解决(1)修改配置文件(2)数据库备份(一定把相关库备份一下)(3)重新初始化CM库1. 问题描述1.1 我遇到的报错信息Server启动失败,一直报错:ERROR main:com.cloudera.server.cmf.bootstrap.EntityManagerFactoryBean: Tables have unsupported engine type [null]. InnoDB i原创 2021-06-03 12:38:59 · 596 阅读 · 2 评论