![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop—运维
YrzDemo
这个作者很懒,什么都没留下…
展开
-
cloudera manager service GC异常
同事阿钲发现cloudera manager service页面打开很卡,查看调整了内存参数后偶尔还是有卡顿现象 怀疑问题在于集群重启或者其他操作 cm server 与client 连接交互时GC达到瓶颈,沟通官方后得到验证并更改几个参数 1. 登陆Cloudera server 所在的client。 2. vi /etc/default/cloudera-scm-server 3. 修改CMF_JAVA_OPTS下的 -Xmx 参数,默认的Java maximum heap size 是 2GB原创 2021-03-04 16:42:41 · 1121 阅读 · 1 评论 -
yarn job的job名过长报错问题
org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException 今天用户任务执行报错,提示: Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException): The maximum path component.转载 2020-08-10 15:05:15 · 553 阅读 · 0 评论 -
hadoop 修复hdfs中文件块错误(租约释放)
hdfs中文件块错误 hdfs路径为: 怀疑租约未释放引起 参考文件: https://blog.csdn.net/qq_29992111/article/details/80533563 1.执行: hdfs fsck /user/zhihui004/bjwx.db/dwd_d_yd_sms/dayid=08/ -openforwrite 2.查看信息: [...转载 2019-11-08 18:09:53 · 756 阅读 · 0 评论