![](https://img-blog.csdnimg.cn/ba844bde4c804fd0b5db44766d9af06f.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 89
记录hadoop日常工作内容,包括但不限于运维调优类的,以及日常任务开发。
选手一号位
无所谓身份,只愿与你真诚相待!
展开
-
YARN线上动态资源调优
线上Hadoop集群资源严重不足,可能存在添加磁盘,添加CPU,添加节点的操作,那么在添加这些硬件资源之后,我们的集群是不能立马就利用上这些资源的,需要修改集群Yarn资源配置,然后使其生效。原创 2022-04-21 18:43:32 · 2050 阅读 · 0 评论 -
HDFS免重启挂载新磁盘
在生产环境中,集群节点磁盘大小不同,其使用率也会不同,hdfs虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,yarn资源被集中占用,最终影响上层服务。原创 2022-02-25 21:44:48 · 1267 阅读 · 0 评论