HDFS免重启挂载新磁盘

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475

背景

在生产环境中，集群节点磁盘大小不同，其使用率也会不同，HDFS虽有均衡策略，但也会有数据不平衡的情况，有些节点磁盘就会被打满，然后这个节点就不健康了（Unhealthy Nodes），Yarn的磁盘阈值检查（yarn.nodemanager.disk-health-checker.min-healthy-disks），默认是90%，超过这个值就会不健康，集群有个节点不健康，就会导致任务运行缓慢，之后任务再挤压，Yarn资源被集中占用，最终影响上层服务。

问题

• 磁盘空间不足，待扩容，可动态增删磁盘
• yarn资源不足，待优化，可动态调整

本篇内容只添加新磁盘，yarn资源优化我们在另一篇文章再专门详解。

官方说明

官方文档：DataNode Hot Swap Drive