读书笔记：大数据清洗技术06

读书笔记：大数据清洗技术

作者：哈尔滨工业大学博导王宏志

第五章 缺失值填充

       缺失值是影响数据完整性的主要因素。缺失值不仅意味着信息的空白，更重要的是它会影响后续数据挖掘、统计分析等工作的进行。很多算法无法直接处理这些缺失值，比如在聚类算法中，距离函数无法处理缺失值，这会影响最终的聚类结果；在决策树分类中对在分裂属性取值为空的记录难以进行划分。

       尽管直接忽略包含缺失值的记录似乎能够解决上述问题，但面对高缺失值的情况，采用填充的方法比简单删除记录更有利于后续数据的利用。从数据分析的角度看，缺失值的这种未知性掩盖了数据分布，干扰了属性相关性的发现，这使得统计分析结果大打折扣，影响最终决策。缺失值填充的目的是依据已有数据和外部知识对数据中的缺失值进行补全的技术。大数据为缺失值填充带来了缺失值类型多样，可扩展性需求高，知识缺乏等挑战问题，针对这些挑战问题，本章提出了基于贝叶斯网络的缺失值填充算法，基于MapReduce编程模型的并行缺失值填充算法和基于众包的缺失值填充算法，并通过实验验证本章提出技术的有效性，效率和可扩展性。