在mr中SkipBadRecords跳过损坏的记录
跳过损坏的记录
Hadoop提供了一个选项,在MR处理map阶段时跳过被损坏的输入记录。应用可以通过SkipBadRecords类使用这个特性。
作业处理时可能对确定的输入集上map任务会失败。通常是map函数存在bug,这时需要fix这些bug。但有时却无法解决这种特殊情况。比如这个bug可能是第三方库导致的。这时这些任务在经过若干尝试后仍然无法成功完成,作业失败。这时跳过这些记录集,对作业...
原创
2018-04-20 14:59:57 ·
1409 阅读 ·
1 评论