hadoop—运维
YrzDemo
这个作者很懒,什么都没留下…
展开
-
cloudera manager service GC异常
同事阿钲发现cloudera manager service页面打开很卡,查看调整了内存参数后偶尔还是有卡顿现象怀疑问题在于集群重启或者其他操作 cm server 与client 连接交互时GC达到瓶颈,沟通官方后得到验证并更改几个参数1. 登陆Cloudera server 所在的client。2. vi /etc/default/cloudera-scm-server3. 修改CMF_JAVA_OPTS下的 -Xmx 参数,默认的Java maximum heap size 是 2GB原创 2021-03-04 16:42:41 · 1146 阅读 · 1 评论 -
yarn job的job名过长报错问题
org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException今天用户任务执行报错,提示:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException): The maximum path component.转载 2020-08-10 15:05:15 · 567 阅读 · 0 评论 -
hadoop 修复hdfs中文件块错误(租约释放)
hdfs中文件块错误hdfs路径为:怀疑租约未释放引起参考文件:https://blog.csdn.net/qq_29992111/article/details/805335631.执行:hdfs fsck /user/zhihui004/bjwx.db/dwd_d_yd_sms/dayid=08/ -openforwrite2.查看信息:[...转载 2019-11-08 18:09:53 · 773 阅读 · 0 评论