1、数据质量研究与实践概览

数据质量研究与实践概览

1. 数据质量的重要性与领域发展

在当今企业环境中，许多重要的企业计划，如企业对企业（B2B）商务、集成供应链管理和企业资源规划等，若不认真考虑和改善数据质量，都有失败的风险。例如，对一家大型制造商的研究发现，70%的订单存在错误。类似的高风险数据质量问题屡见不鲜，像华尔街日报报道的大型金融机构因错误的数据录入而尴尬，东北一些州因不良信用数据起诉TRW，抵押贷款公司错误计算房主的可调整利率每月抵押贷款还款等，甚至医疗领域也因处方数据错误导致许多患者死亡或重病。

过去十年，数据质量领域取得了显著进展。如今，研究人员和从业者已从确立数据质量这一领域，转向解决数据质量问题，涵盖数据质量的定义、测量、分析和改进，以及相关工具、方法和流程。现在有大量的数据质量资源可供利用，专业书籍、期刊文章和会议论文集不断涌现，涉及会计、管理科学、管理信息系统、计算机科学和统计学等多个领域。同时，非营利学术会议和商业会议也成为数据质量领域的一部分。1996年，麻省理工学院的全面数据质量管理（TDQM）计划开创了首个学术会议，此后每年举办一次，如今信息系统和计算机科学会议也常设有数据质量相关的专题或教程。

2. 基本概念

• 数据与信息 ：在文献中，数据和信息常被互换使用，但在实践中，管理者直觉上会区分信息和数据，认为信息是经过处理的数据。除非另有说明，本书将数据和信息这两个术语互换使用。

• 产品制造与信息制造 ：产品制造和信息制造在质量问题上存在类比关系。产品制造可视为一个处理系统，对原材料进行加工以生产物理产品；信息制造则可看作对原始数据进行