【数据治理】数据治理方案技术调研 Atlas VS Datahub VS Amundsen

本文探讨了大数据环境下的数据治理需求,重点比较了五个开源数据发现平台——DataHub、Amundsen、Metacat、Marquez和Apache Atlas。这些平台旨在解决数据定位、理解及ETL展示等问题。Amundsen以其搜索功能和与Airflow的集成受到关注,Datahub和Atlas则提供了数据血统功能。选择平台应考虑项目周期、实施难度和实际需求,建议初学者从Atlas开始。
摘要由CSDN通过智能技术生成

数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。

大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。

数据发现平台可以解决的问题

为什么需要一个数据发现平台?

在数据治理过程中,经常会遇到这些问题: 数据都存在哪? 该如何使用这些数据? 数据是做什么的? 数据是如何创建的? 数据是如何更新的?

。。。。。

数据发现平台的目的就是为了解决上面的问题,帮助更好的查找,理解和使用数据。

比如Facebook的Nemo就使用了全文检索技术,这样可以快速的搜索到目标数据。

用户浏览数据表时,如何快速的理解数据? 一般的方式是把列名,数据类型,描述显示出来,如果用

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九层之台起于累土

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值