Cloudera Manager无法获取统计信息

最新推荐文章于 2020-12-29 06:47:52 发布
最新推荐文章于 2020-12-29 06:47:52 发布
阅读量1.1k 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop cloudera 磁盘满 统计信息
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maxine_du/article/details/52300492
版权
在检查CDH5集群时，发现Cloudera Manager无法获取统计信息，重启无效。经排查，发现一主机磁盘空间已满，特别是/home目录下Kafka的日志文件和*.out文件占用过大。删除无用文件后，Cloudera Manager恢复正常。此外，还需注意记录安装过程中的配置信息，避免遗忘。
摘要由CSDN通过智能技术生成

今天总结CDH5的安装文档，查看了一下内网部署的Hadoop集群，发现cloudera manager无法获取统计信息，重启以后还是不行，后来点击CDH Web管理界面的主机选项，发现一台主机的磁盘已经满了。

登录到磁盘满的主机上，查看磁盘使用情况

du -sh /*

发现/home目录占用了超过50G的硬盘空间（总空间才80G），进入到/home目录里，继续查看/home目录里面占用磁盘文件最多的目录，层层递进，最终找到Kafka安装目录下的日志文件和一个*.out文件占用了大于50G的磁盘空间，后来询问同事，他说是之前做测试安装的Kafka，现在已经不需要了，删除这两个文件后，重启cloudera manager，正常运行。

由于之前安装CDH5的时候没有同时总结文档，现在再总结，发现当时很多配置都忘了，比如说数据库的密码等。还好是测试机，以后应该养成良好的习惯，认认真真，踏踏实实，不能偷懒。

最后总结一下du命令的使用，一下内容来自Linux命令大全

语法

du [选项][
最低0.47元/天 解锁文章
toypipi
关注
专栏目录
CDH使用秘籍（二）：cloudera Manager中监控数据的存储
11-19 1万+
上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，怎样配置外部表等。这一篇文章进一步分析监控数据的存储，配置，调优等。
CDH环境故障: HDFS各服务进程状态未知，监控指标图表无数据
dinghua_xuexi的专栏
05-04 4593
导语 cdh是管理大数据组件的利器，他能帮助我们很好的监控管理各大数据进程服务。但在我们使用的过程中，不小心，也会遇到一些问题。这时需要我们想办法去解决它。 本篇主要记录我遇到的一个CDH平台问题，就是突然有一天，我的大数据组件服务启动后，各进程显示灰色的问号图标，并提示运行状态未知。并且监控图标全都无法显示 以为是...
Cloudera实战入门
05-06
课程是基于企业实际生产环境，涉及cloudera manager + CDH的搭建及使用、添加组件、配置、升级组件、企业中如何向已有集群横向扩展节点、根据监控指标去优化集群、集中化监控图表、使用shell编写实用工具及cloudera manager的概述。鸟叔，任职于某知名直播、免费电子书平台、具有5年的大数据开发经验，从事过大数据的设计架构到从搭建、开发、及开发推荐系统等。
[CDH基础]-- 通过cloudera manager管理界面添加图表
欢迎来到我的博客，一起探索代码里的世界！
03-16 8424
英文原文链接：https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_metrics.html   译文如下： 本节提供有关Cloudera Manager支持的度量标准的信息。 度量是可以被测量以量化实体或活动的状态的属性。它们包括属性，例如打开的文件描述符的数量或群集中的CPU利用率百分比。 Cloudera...
Cloudera Manager一步步详细部署文档(离线parcels存储库方式）
06-03
Cloudera Manager安装手册(离线parcels存储库方式），基于CentOS操作系统一步步傻瓜式安装，截图记录整个部署过程。带集群功能验证，检查集群是否正常工作 目录 一、文档内容 3 二、软硬件环境 3 2.1.软件信息 3 2.2.硬件信息 4 三、集群部署流程 5 3.1.管理结点部署 5 3.1.1 环境准备 5 3.1.2 CDH软件套件下载及配置 6 3.2.工作结点部署 9 3.2.1 环境准备 9 3.2.2 配置迁移 10 四、集群创建与验证 11 4.1创建集群 11 4.2 验证集群 22 4.2.1.MapReduce验证 22 4.2.2.Hive验证 24
0707-如何安装Grafana并使用Cloudera Manager datasource插件
Hadoop_SC的博客
10-03 1211
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 简介 Grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数据库。通过自带的控件或者第三方可...
clouderaManager--------------知行教育大数据分析平台（三）
Dwiwhwjd的博客
12-22 656
维度分析 数据仓库中的数据分析处理，其实就是对数据按照维度进行分析 维度 大白话：以不同的视角去看待数据 维度是事务的特征，如颜色、区域、时间等，可以根据不同的维度来对指标进行分析对比。 维度也可以分为： 定性维度：在事务的特性上去看待数据，按照地理位置分布计算指标、按照颜色来计算 定量维度：在事务的数值上去看待数据，比如：按照分数的区间统计各区间的学生人数 指标 大白话：被看待的数据主题 指标是衡量事务发展的标准，也叫度量，如价格，销量等；指标可以求和、求平均值等计算 指标也分为： 绝对数值指标
Cloudera(CDH) 简介和在线安装
Kim_Weir的专栏
04-13 2万+
Cloudera 简介Cloudera 官网：https://www.cloudera.comCloudera 官方文档： https://www.cloudera.com/documentation/enterprise/latest.htmlCDH是Apache Hadoop和相关项目的最完整，经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基...
impala查询语句_Impala基础语法（一）
weixin_28756281的博客
12-29 1434
1.1 Impala服务组件1.1.1 Impala Deamon该进程运行于集群每个节点的守护进程，是Impala的核心组件，每个节点该进程的名称为 impalad 。> ps -ef|grep impalad负责读取数据文件；接受来自impala-shell、Hue / JDBC/ODBC的查询请求，与其他节点并行分布式工作，并将本节点的查询结果返回给中心协调者节点(建议使用JDBC/O...
Cloudera Manager API v14 中文
12-05
花一个星期整理的cdh cm中文api 绝对完整，一个不漏
使用Cloudera Manager API 实现CM中的图表
nuoyahadili8的博客
01-04 5638
参考文档见官方文档 直接上代码： import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.List; import javax.ws.rs.core.Response; import net.sf.json.JSO
hbase日常运维管用命令，region管理
weixin_30414155的博客
12-09 706
hbase日常运维管用命令，region管理 1 Hbase日常运维 1.1 监控Hbase运行状况 1.1.1 操作系统 1.1.1.1 IO 群集网络IO，磁盘IO，HDFS IO IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大...
cdh集群出现“无法发出查询：Host Monitor 未运行”
热门推荐
明明历险记
06-15 2万+
cdh集群出现“无法发出查询：Host Monitor 未运行”出现问题后，首先想到查看日志：/var/log/cloudera-scm-server/cloudera-scm-server.log2018-06-01 11:58:00,001 INFO 618348787@agentServer-2579:com.cloudera.server.common.MonitoringThreadPo...
CDH Service Monitor无响应问题小记
LittleMagic's Blog
01-30 2690
这个问题早在去年9月就被发现了，但是现场保存得不好，只在简书上留了几张截图。并且笔者那时跑到11区浪去了，简书当时也被有司请去喝了一段时间的茶，因此细节没有保留太多，权当留个备忘吧。 故障现象： 机器硬盘告警，提示/tmp写满，在硬盘里有大量Cloudera Manager中Service Monitor服务的堆转储文件。 Cloudera Manager的We...
安装CDH时候出现主机运行状态不良情况的解决
Gavin博客专栏
07-01 2万+
> 发现很多兄弟在安装CDH过程的分配这一步，总是遇到“主机运行状态不良”的提示，当然我也遇到过。 解决办法就是，根据自己安装的cm版本来删除文件,我的路径是： rm -f /opt/cloudera-manager/cm-5.11.1/lib/cloudera-scm-agent/cm_guid 如果是多节点，则需要删除每个agent节点的这个文件。 进入到
CDH快速入门系列(3) | CM集群监控状态及集群的使用
不温卜火
06-27 7499
  此篇为大家带来的是CM集群监控状态及集群的使用。 目录一. CM集群监控状态二. 集群的使用2.1 图表2.2 设置2.3 日志2.4 删除或添加集群2.5 Parcel2.6 主机模板 一. CM集群监控状态 1.初始状态，有很多有问题的 2. 遇到红色只需重启就好了 3. 因为各种原因，再次就先把问题都抑制了 4. 抑制完成后 5.把所有的服务都重启 6.由于内存不足就会出现下列状况 二. 集群的使用 2.1 图表 1. 查看正常CPU SELECT cpu_n
CM记录-Cloudera Manager常见问题汇总（转载）
weixin_30947043的博客
05-03 787
1.无法加载最新的supervisord 解决方案：ps -ef | grep supervisord kill -9 pid 2.cloudera-scm-agent dead but pid file exists 解决方案：ps -ef | grep cloudera-scm-agent，然后kill掉cloudera-scm-agent.pid，并删除/opt/clo...
Cloudera Manager server无法启动
最新发布
07-12
您好！很抱歉听到Cloudera Manager服务器无法启动的问题。以下是一些可能的解决方案： 1. 检查端口冲突：确保Cloudera Manager使用的端口没有被其他进程占用。您可以使用以下命令检查端口占用情况： ``` netstat -tuln | grep <端口号> ``` 如果端口已被占用，请尝试更改Cloudera Manager配置文件中的端口。 2. 检查日志文件：Cloudera Manager生成的日志文件中可能包含有关启动问题的详细信息。请查看`/var/log/cloudera-scm-server/`目录下的日志文件，特别是`cloudera-scm-server.log`文件，以获取更多信息。 3. 检查数据库连接：Cloudera Manager使用数据库来存储配置和状态信息。请确保数据库服务器正在运行，并且Cloudera Manager配置文件中的数据库连接信息正确。 4. 检查配置文件：检查Cloudera Manager配置文件（通常是`/etc/cloudera-scm-server/db.properties`）中的设置，确保它们与您的环境相匹配。特别是，确保数据库连接和身份验证信息正确。 5. 重新安装Cloudera Manager：如果上述解决方案都没有解决问题，您可以尝试重新安装Cloudera Manager。确保遵循官方文档中的安装步骤，并仔细检查系统要求和依赖项。 如果您能提供更多详细信息，例如错误消息或日志文件的内容，我可以尝试提供更具体的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值