![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
文章平均质量分 58
HADOOP
即墨澈
这个作者很懒,什么都没留下…
展开
-
hdfs删除后空间不是释放,trash回收机制
在2023-06-19删除完的文件后,将删除的文件移动到/user/hadoop/.Trash/current文件夹下,3天后2023-06-22检查点生成机制运行,将回收站中的数据移动到/user/hadoop/.Trash/20230622080017,此时也会删除当前时间三天前过期的检查点数据,在2023-06-25检查点生成后,没有把/user/hadoop/.Trash/20230622080017的原因,因为回收站数据量比较大,时间戳时间稍晚20230622080017无法被正常删除。原创 2023-06-30 15:25:03 · 1839 阅读 · 0 评论 -
数据倾斜排查
如果每个 reduce 执行时间差不多,都特别长,不一定是数据倾斜导致的,可能是 reduce 设置过少导致的;有时候,某个 task 执行的节点可能有问题,导致任务跑的特别慢。如果新的任务在很短时间内能完成,通常则是由于 task 执行节点问题导致的个别 task 慢。reduce 的时间比其他 reduce 时间长的多,大部分 task 在 1 分钟左右完成,只有 r_000095 这个 task 执行一个多小时还没完成。比较不同的 task counter 的输入记录数,看是否有很大的数据量的差距。原创 2023-06-30 11:04:19 · 265 阅读 · 0 评论