clouera-scm-agent进程内存高涨的一个案例

最新推荐文章于 2023-08-22 23:21:47 发布
最新推荐文章于 2023-08-22 23:21:47 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： clouera-scm-agent 内存 异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c77_cn/article/details/45871889
版权
本文描述了在排查过程中发现cloudera-scm-agent进程导致内存占用异常的情况，主要表现为进程虚拟内存和物理内存大幅增加。通过日志分析，发现与HttpFS服务日志目录设置冲突和CDH版本不一致有关。解决方案包括调整HttpFS服务的日志目录，以及处理CM下载旧版本parcel的任务。
摘要由CSDN通过智能技术生成

偶然发现集群中两台机器内存占用存在异常，仔细排查之后，发现是clouera-scm-agent进程作怪。正常的机器里，该进程虚拟内存和物理内存占用，分别是2G和50M左右，而它们两个则分别达到了7G和5G左右。查看问题机器的该进程日志（默认路径/var/log/cloudera-scm-agent/cloudera-scm-agent.log），看到频繁的出现下列提示：

[20/May/2015 14:19:15 +0000] 25686 MainThread agent        WARNING  Expected user httpfs for /mylogs/hadoop-hdfs/stacks but was hdfs
[20/May/2015 14:19:15 +0000] 25686 MainThread agent        WARNING  Expected group httpfs for /mylogs/hadoop-hdfs/stacks but was hdfs
[20/May/2015 14:19:15 +0000] 25686 Thread-13 downloader   INFO     Starting download of: http://cmhost:7180/cmf/parcel/download/CDH-5.1.2-1.cdh5.1.2.p0.3-el6.parcel
[20/May/2015 14:19:15 +0000] 25686 Thread-13 downloader   ERROR    HTTP error during download

提示中应该反映了两个问题：第一个问题与/mylogs/hadoop-hdfs/有关，第二个问题与CDH-5.1.2-1.cdh5.1.2.p0.3-el6.parcel有关。

先来解决第一个问题。

从提

最低0.47元/天 解锁文章
c77_cn
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ITM_win_agentCPU内存占用较高
weixin_34216196的博客
08-14 199
这个问题一般出现在ITM623fp1上，win agent监控的OS是win2003而且这个问题一般会通过省级ITM来解决以下是一些通用的解决方法Kntcma.exe占用CPU 100% Kntcma.exe占用内存资源较高server安装ITM 623FP2补丁agent安装6.2.3.2-TIV-ITM_WIN-IF0001补丁在KNTENV文件中设置NT_LOG_T...
CDH运维报错问题
hcq_lxq的博客
08-21 3140
ERROR Failed to connect to previous supervisor 问题背景： CDH有一台服务器重启，然后重启agent的服务的时候总是重启后自动挂掉，该节点的所有大数据的组件都不能开启。 查看log目录下的agent启动日志发现报如下错误： ERROR Failed to connect to previous supervisor 后来查询有解释说，是因为服务器重启后，再启动agent会报这个错误，除非删掉主机重新配置集群supervisor重启有残留配置在，需要清
Kafka agent内存配置
weixin_30593261的博客
08-05 316
Flume公共配置文件：${FLUME_HOME}/conf/flume-env.sh 其中配置export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote" 可以用来配置公共的agent堆大小，但是如果想要给某个agent单独配置， 可以在启动脚本中加入堆参数 nohup ${FLUME_HOME}/bi...
AppAgent 内存泄漏问题总结与反思
所有内容都已迁移到 https://huqijun.org
03-25 770
1.      原因分析   使用鱼骨图梳理该问题，可以发现主要是以下几个原因造成的： 一． 测试策略方面的失误          AppAgent 企业通讯录功能，对不同的终端有不同类型的接口，我们经常提及的是移动客户端，话机，话务台。TR5前测试制定测试策略时， 由于不具备测试话机企业通讯录接口性能工具， 且测试话机接口需要比移动终端更多的物料（需要多配置网关和SIP号码），故决策Ap
php-cgi进程占用cpu资源过多负载高的原因分析及解决步骤
老张的自言自语
01-14 2831
服务器环境：redhat linux 5.5 , nginx ,  phpfastcgi   在此环境下，一般php-cgi运行是非常稳定的，但也遇到过php-cgi占用太多cpu资源而导致服务器响应过慢，我所遇到的php-cgi进程占用cpu资源过多的原因有：   1. 一些php的扩展与php版本兼容存在问题，实践证明 eAccelerater与某些php版本兼容存在问题，具体表现时启...
蜂网-SCM-OMS-销退单管理.pptx
最新发布
05-04
蜂网_SCM-OMS-销退单管理.pptx
aEDS-SCM供应链管理.pptx
04-17
SCM（供应链管理）是企业运营的关键组成部分，它涉及到从原材料采购到最终产品交付给客户的所有环节。在"aEDS-SCM供应链管理"中，我们聚焦于如何通过电子化手段提升供应链效率。 首先，成功实施SCM并不只是依赖于...
dso.rar_Embeded-SCM Develop_dso
09-19
标题 "dso.rar_Embeded-SCM Develop_dso" 提示了这是一个关于嵌入式版本控制系统（Embedded SCM）开发的项目，其中可能涉及到一种名为"DSO"的技术或工具。"DSO"可能是特定的库、框架或者软件开发组件，用于实现在线...
maven-scm-publish-plugin：Apache Maven SCM发布插件
02-04
如果您打算实施一项新功能，则有必要先在上讨论您的更改。 这样，您可以确保您不会浪费时间在Apache Maven范围之外的东西上。 假设您的问题不存在，请提交该问题的票证。 清楚地描述问题，包括在出现错误时重现的...
CDH运维：子节点cloudera-scm-agent启动报错
lf_she的博客
10-19 932
1.启动报错 ./cloudera-scm-agent start 报错截图： 2.根据报错删除或者备份成其他对应的pid文件 find / -name cloudera-scm-agent.pid mv cloudera-scm-agent.pid cloudera-scm-agent.pid20211019 或者 rm -rf cloudera-scm-agent.pid 3.重启cloudera-scm-agent ./cloudera-scm-agent start 重启成功
CDH重启cloudera-scm-agent报错：No socket could be created — ((‘127.0.0.1’, 9001): [Errno 98] Address alre
大模型大数据攻城狮的专栏
08-22 395
这通常意味着另一个进程已经在监听相同的IP地址和端口号，导致。在启动时无法创建HTTP服务器的套接字，原因是地址。
大数据开发之CDH篇----cloudera-scm-agent启动不了后的一堆事
weixin_39702831的博客
08-23 9254
某次cloudera-scm-agnet系统启动不了 前几天添加磁盘的时候系统以外重启了，那个时候并没stop cloudera-scm-server和cloudera-scm-agent两个进程，导致了重新启动的时候cloudera-scm-server可以启动而cloudera-scm-agent无法启动。 使用命令: systemctl status cloudera-scm-agent得到...
(hadoop运维 一)cloudera-scm-agent dead
yx_keith的博客
11-15 2975
CDH集群中的某个的cloudera-scm-agent当掉之后，sever节点就无法收到从节点的报告信息，此时cloudera manager界面就会有好多报红。重启cloudera-scm-agent服务如果报错cloudera-scm-agent dead but pid file exists, 那就 先ps -ef | grep cloudera-scm-agent，然后kill掉
CDH5.3.2安装详细文档以及相关问题处理
小码农的专栏
03-27 7510
版本约定 操作系统版本centos6.5,64位 jdk1.6的版本也支持jdk1.7的版本 python版本为2.6或者2.7 集群版本cdh5.3.2 cloudera manager 5.3 mysql5.0以上版本   CM安装前说明 防火墙关闭          service iptables stop chkconfig i
jvm参数
zyz611的博客
04-11 446
对于JVM的内存写过的文章已经有点多了，而且有点烂了，不过说那么多大多数在解决OOM的情况，于此，本文就只阐述这个内容，携带一些分析和理解和部分扩展内容，也就是JVM宕机中的一些问题，OK，下面说下OOM的常见情况： 第一类内存溢出，也是大家认为最多，第一反应认为是的内存溢出，就是堆栈溢出： 那什么样的情况就是堆栈溢出呢？当你看到下面的关键字的时候它就是堆栈溢出了： j...
cloudera环境搭建
热门推荐
扣脚小生
09-04 1万+
一、cloudera背景介绍 Cloude Manager概述： CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。 Cloudera Manager分为： Cloudera Manager Server：对整个集群提供监控与管理操作。Cloudera Manager Server通过部署在不同设备上的Cloudera Manager Agent进...
systemctl start cloudera-scm-agent
08-27
根据引用和引用的内容，可以看出使用systemctl start cloudera-scm-agent命令可以启动Cloudera Manager的代理节点。这个命令可以在每个节点上执行，从而使整个CM集群部署正常运行。当需要停止Cloudera Manager的代理节点时，可以使用systemctl stop cloudera-scm-agent命令。根据引用的内容，可以看出当需要停止Cloudera Manager的服务器节点时，可以使用systemctl stop cloudera-scm-agent命令。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [大数据集群安装CDH方式](https://blog.csdn.net/huaicainiao/article/details/125783936)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [CDH数仓项目(一) —— CDH安装部署搭建详细流程](https://blog.csdn.net/Keyuchen_01/article/details/128742159)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值