臭名昭著的数据清理和准备问题，如何利用AI完美解决？

全文共3299字，预计学习时长10分钟

来源：Pexels

 

人工智能和深度学习在处理非结构化数据方面表现突出，从自然语言理解和自动知识库构建到图像和视频的分类和生成等方面都有着广泛的应用前景。

然而，储存在产品存储库、事务日志、ERP和CRM系统等业务应用程序中的结构化数据却被人们遗忘!表格数据仍然由老一代的数据科学技术处理，如基于规则的系统或决策树。这些方法耗费人力，维护起来也很繁琐，并且需要大量手工标记的数据。

尽管最近人工智能的进步使得从非结构化数据中挖掘巨大价值成为可能，但关注结构化数据在促进业务、收入、健康、安全甚至治理方面的价值也同样不容忽略。

 

与非结构化数据相比，结构化数据的主要挑战之一是应用程序对数据质量的高度敏感性。虽然我们仍然可以观看分辨率不高的视频，或者在轻受损图像中识别物体。

然而，描述大型企业或制药公司产品的大小、价格和数量属性上的小错误可能会造成灾难性的后果，这使得数据质量成为释放结构化数据资产价值的一大障碍。

尽管数据管理社区花了几十年的时间试图解决此问题，但进展甚微。这主要是问题的复杂性、基于规则和逻辑系统处理问题的严重局限性而导致的，以及数据清理和准备周期高额的人力成本。至于现在，显而易见，只有很少甚至没有人工交互的自动解决方案才是解决此问题的唯一可行方案。

 

这就是为什么该问题适合用机器学习来解决，机器学习能够捕获企业数据的不同背景，并从可预测数据质量和建议进行数