人工参与的迭代式数据清洗方法研究

摘要

数据采集技术的进步导致了数据集规模的飞速上涨，由于数据的大规模和高复杂性引起了严重的数据质量问题，数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本，提出了一种人工参与的迭代式的数据清洗方法（IDCHI）。该方法在检测模块中提出了数据选择优化方法，使分类器在初始阶段就拥有较高的准确度；并进一步提出了待人工标注数据选择方法，有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。

关键词： 数据清洗 ; 人工参与 ; 迭代式 ; 小批量梯度下降

0 引言

随着数据采集技术的不断进步，数据集的规模飞速上涨，针对数据的处理成为不同程序中一