针对实时和批处理数据的云数据质量服务

eBay开放了DQSolution的源代码，DQSolution是针对流式或批处理数据环境中任何规模的分布式数据系统的数据质量解决方案。 您可以从https://ebay.github.io/DQSolution/派生它。 DQSolution创建了一个统一的流程来定义和构建跨多个数据系统的数据质量测量管道，以提供： 特征

–准确性测量–数据资产与可验证来源相比的准确性

–数据剖析–统计分析和评估数据资产中的数据值，以确保一致性，唯一性和逻辑性

–异常检测–预先建立的算法功能，用于识别与数据资产中预期模式不符的事件

–可视化–可报告数据质量状态的仪表板

主要优点

–实时–可以实时执行数据质量检查，以更快地发现问题

–可扩展–该解决方案可以与多个数据系统一起使用

–可扩展–该解决方案旨在处理大量数据。 目前，它以大约1.2 PB的数据运行

–自助服务–该解决方案提供了一个简单的用户界面，以定义新的数据资产和规则。 它还允许用户可视化数据质量仪表板并个性化其对仪表板的视图。

GitHub： https ://ebay.github.io/DQSolution/如果有兴趣请分叉！谢谢！

与我们联系： lzhixing@ebay.com

翻译自: https://www.theserverside.com/blog/Coffee-Talk-Java-News-Stories-and-Opinions/A-cloud-data-quality-service-for-both-real-time-and-batch-data