数据质量对于成功的AI/ML建模的重要性

人工智能 (AI) 和机器学习 (ML) 技术有可能彻底改变许多行业。但 AI 和 ML 有一个鲜为人知的致命弱点。Refiniv在2019年“更聪明的人类、更聪明的机器：人工智能/机器学习全球研究”中进行的一项研究表明，部署和采用人工智能和机器学习的最大障碍是数据质量差。来自替代资源和非结构化数据的数据正变得越来越重要，但在它们的见解变得真正有价值之前必须对其进行“提炼”。 

“garbage in, garbage out”这句话适用于 AI/ML 部署——如果你给模型提供坏数据，分析和结果也会低于标准。根据 Refiniv调查，66%的受访者表示，糟糕的数据质量会影响他们部署机器学习和人工智能技术的能力。该报告还表明，在ML模型中处理新数据的四个挑战中的三个与数据质量有关。这些挑战包括有关数据历史、覆盖范围和总体的准确信息，识别不完整或损坏的记录，以及清理和管理数据。数据科学家面临的最大挑战之一是找到高质量的数据，因为他们必须花费 80-90% 的时间来清理和标准化不良数据。

01

为什么数据质量很重要？

在进行数据分析时，无论是否用于人工智能，数据质量都极为重要。数据质量有两个组成部分：

1.缺失数据

2.数据不正确

这两方面都存在很大问题，每个问题的影响只能根据具体情况来确定。如果ML模型中不支持数据质量，则会导致误解和错误推断。研究表明，公司在分析自己的公司数据的同时，也会分析市场数据和非结构化数据&#x