DataHub: 现代数据栈的元数据平台--如何与spark集成，自动产生spark作业的数据血缘关系？

最新推荐文章于 2024-06-20 16:13:43 发布
最新推荐文章于 2024-06-20 16:13:43 发布
阅读量2.2k 收藏
点赞数 1
分类专栏： 基于Datahub进行数据治理 文章标签： DataHub 元数据 数据治理 集成spark 数据血缘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/penriver/article/details/123246612
版权
本文介绍了如何使用DataHub集成Spark，通过Java代理捕获Spark作业事件，实现实时元数据推送和数据血缘追踪。讨论了支持的Spark版本和API，以及在spark-submit、spark-defaults.conf和代码中集成datahub-spark-lineage的方法。
摘要由CSDN通过智能技术生成

DataHub如何集成spark?

DataHub通过如下方式集成spark:

  • 提供了一个轻量级的Java代理，它侦听Spark应用程序和作业事件，并实时将数据血缘元数据推送到DataHub
  • Java代理侦听应用程序的开始、结束事件、SQLExecution的开始、结束事件，以在Datahub中创建pipelines (即DataFlow)和任务(即DataJob)，以及对正在读写的数据集间的数据血缘关系。

如下面的代码（源码参见：TestSparkJobsLineage.java

 spark = SparkSession.builder()
了解本专栏 订阅专栏 解锁全文 超级会员免费看
enjoy编程
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
DataHub: 现代数据栈的元数据平台--如何将数据血缘关系写入DataHub
penriver的博客
02-06 2789
在大数据时代，系统的数据来源广泛，各种类型的数据快速产生且爆发性增长。从数据的产生、ETL 、数据融合分析、数据应用直至最终消亡，在数据流转过程中数据之间的关联关系称为数据血缘关系。 数据血缘揭示了数据的生命周期——目标是记录并显示从数据产生到消亡的完整数据流。 数据血缘描述数据处理流程、表、报表、即席查询之间的流向关系、表与表的依赖关系、表与离线ETL任务、调度平台、计算引擎之间的依赖关系。 本示例演示如何将数据血缘关系写入DataHub并提供源码示例。
【DataHub】 现代数据栈的元数据平台--如何将数据血缘关系写入DataHub
m0_54252387的博客
07-15 3345
在大数据时代，系统的数据来源广泛，各种类型的数据快速产生且爆发性增长。从数据的产生、ETL 、数据融合分析、数据应用直至最终消亡，在数据流转过程中数据之间的关联关系称为数据血缘关系。数据血缘揭示了数据的生命周期——目标是记录并显示从数据产生到消亡的完整数据流。 数据血缘描述数据处理流程、表、报表、即席查询之间的流向关系、表与表的依赖关系、表与离线ETL任务、调度平台、计算引擎之间的依赖关系。数据血缘是数据治理的重要一环，用于追踪数据的来源、评估数据价值、数据生命周期管理、数据安全管控。Data lineag
datahub 中血缘图的实现分析，在react中使用airbnb的visx可视化库来画有向无环图
知无涯
10-24 6981
低级元素是说它不直接提供一个个完整的图表，而且要使用多个元素组装实现，这也意味着 要使用它，还是有一点门槛的，但人家的审美确实在线。因为这个库并不是一个专业的Graph库，所有在图的布局算法，自定义接的，自定义线，或者图的交互 都不如g6做的丰富。之前在公司也做过一些案例，也看过很多友商的产品，阿里的DataWork，领英的Datahub，做大数据的项目，必不可少的是要接触到数据血缘图，它在大数据项目中有着很重要的作用。血缘图使用的react-flow，节点，线都是使用div画的。大数据量时，可能堪忧。
轻松构建企业级数据管理平台：探索 DataHub
最新发布
qq_34068440的博客
06-20 816
DataHub 是由 LinkedIn 开发的一个开源项目，旨在帮助企业建立一个完整的数据发现和管理平台。它通过集中化的数据目录系统，提供全面的数据治理、元数据管理和数据血缘关系分析等功能。DataHub 的灵活性和可扩展性使得它成为大中小企业的理想选择。DataHub 作为一个功能强大且灵活的数据管理平台，能够帮助企业有效地管理和发现其数据资产。无论您的企业规模如何，DataHub 都能提供强大的数据治理、元数据管理和数据血缘分析功能，助力企业实现数据驱动的业务决策。
DataHub调研&数据血缘
美丽的毛毛草
04-04 5801
​ 在DataHub中可以通过GraphQL API轻松的创建和添加任何实体标签，这样随着时间的推移，实体的属性回越来越丰富。当有一天我们想要查看某一标签的相关实体信息时，只需要在标签位置点击该标签，就会将所有相关的实体数据 列出来。
DataHub: 现代数据栈的元数据平台--如何配置DataHub作为Airflow的数据血缘后端存储，自动将工作流DAG写入DataHub作为数据血缘？
penriver的博客
02-18 1160
Airflow 1.10.15+ and 2.0.2+ 已经支持lineage backend，Airflow 通过任务的入口和出口来跟踪数据，继而实现数据血缘关系：任务执行前，pre_execute方法被调用，准备数据血缘的元数据；在任务完成后，post_execute方法被调用，推送数据血缘元数据到XCOM，然后写到指定的数据血缘后端存储【如DataHub】。 本文讲解如何配置DataHub作为Airflow的数据血缘后端存储，将工作流DAG写入DataHub作为数据血缘关系。
【DataHub】 现代数据栈的元数据平台--如何与spark集成，自动产生spark作业的数据血缘关系？
m0_54252387的博客
07-14 1642
DataHub通过如下方式集成spark:如下面的代码（源码参见：TestSparkJobsLineage.java 集成spark产生的元数据 执行上面的测试用例，将产生如下元数据：执行上面的测试用例，将同时产生数据集间的数据血缘关系，如下： 以下管道pipelines和任务tasks中的自定义属性与Spark UI相关:管道pipeline和任务task的其他自定义属性：捕获执行的开始和结束时间、查询计划在任务的queryPlan属性中捕获。 下面是当前被解析的Spark api列表：针对提交的spa
2024年数据平台建设指南
weixin_44046260的博客
03-25 1344
本文将全面解析数据平台建设的方方面面,涵盖架构设计、技术选型、开发实施、运维管理、新兴实践与趋势等内容,并结合真实案例分享业内最佳实践,为您指引数据平台建设之路。主流的云供应商们如AWS、Azure和GCP都在加速推出面向云原生场景的全新数据产品集,涵盖数据采集、存储、处理、分析的方方面面,例如:AWS MSK(Kafka服务)、Athena(SQL查询)、Glue(ETL)、Lake Formation(数据湖)等。数据湖则可为分析数据提供廉价、高扩展的存储池;
【数据治理】数据湖治理实践：腾讯云数据湖元数据实践指南
菜鸟叔叔的博客
04-06 758
最近数据湖非常的火，但是一旦没弄好，就会变成“数据沼泽”。如何避免“数据湖”变成“数据沼泽”呢？最好的办法就是治理先行。
Datahub新版本0.9.1更新，列级别数据血缘功能发布！
大数据流动
11-03 768
大家好，我是独孤风。近期Datahub进行了一次大的版本更新，从0.9版本以后Datahub也正式发布了列级别数据血缘的功能。0.9.1版本又增加了，列的影响分析这个功能。这样Datahub对于列级别数据血缘的功能支撑就非常完善了。目前Datahub支持列级别数据血缘的主要功能有。1、建立列级别数据血缘的API 2、Snowflake和Looker，Tableau的列级别数据血缘实现 3、列级别数...
LinkedDataHub:数据驱动的知识图管理系统。 Apache许可证
05-13
知识图管理系统 LinkedDataHub （LDH）是一个开源软件，可用于管理数据，创建可视化效果并在RDF知识图上构建应用程序。 欢迎使用LinkedDataHub。 我们最初打算将该项目用于链接数据发布，但是逐渐意识到我们已经构建了一个多用途的数据驱动平台。 我们正在为以下目的构建LinkedDataHub： 使用RDF数据并需要可访问的低代码发布，探索和管理工具的领域专家 正在寻找用于Web应用程序和API开发的声明性全栈框架的开发人员 数据工程师需要可针对各种用例进行定制的开源RDF平台 LinkedDataHub的独特之处在于其完全由数据驱动的体系结构：将应用程序和文档定义为数据，使用单个通用HTTP API进行管理，并使用声明性技术进行呈现。 提供了默认的应用程序结构和用户界面，但可以完全覆盖和自定义它们。 除非需要自定义服务器端处理，否则根本不需要使用诸如Java或J
datahub使用-字段级&表级数据血缘-clickhouse
qq_34264671的博客
12-08 1344
datahub获取clickhouse表之间数据血缘
datahub数据血缘相关
weixin_45249411的博客
07-07 722
在此之前查看了以下大佬的文档：未完待续。
【DataHub】 现代数据栈的元数据平台--如何配置DataHub作为Airflow的数据血缘后端存储，自动将工作流DAG写入DataHub作为数据血缘？
m0_54252387的博客
07-14 2375
Airflow 1.10.15+ and 2.0.2+ 已经支持lineage backend，但只是实验性的。Airflow 通过任务的入口和出口【 inlets and outlets of the tasks】来跟踪数据，继而实现数据血缘关系：数据血缘后端必须继承LineageBackend类，并实现``方法 2. 如何配置Airflow的数据血缘后端？ 下面介绍如何配置DataHub作为Airflow的数据血缘后端 2.2. 配置一个Airflow hook 配置后，可以点击Airflow 的菜单
基于DataHub元数据血缘管理实施方案
qq_35338741的博客
03-21 4738
元数据按用途的不同分为两类：技术元数据（ Technical Metadata)和业务元数据（ Business Metadata ）技术元数据是存储关于数据仓库系统技术细节的数据，用于开发和管理数据仓库使用的数据。业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够看懂数据仓库中的数据。利用元数据标签不仅可以节约研发人员的时间成本，同时对公司内部的非研发人员来说，也可以更直观地理解数据、利用数据，从而提升数据的研发效率。
datahub文档_实现datahub数据
weixin_39662462的博客
12-21 1334
阿里云物联网平台数据转发到DataHub示例概述您可以使用规则引擎将数据转到DataHub上，再由DataHub将数据流转至实时计算、MaxCompute等服务中，以实现更多计算场景。本文主要演示通过规则引擎将消息流转到DataHub，并通过Dataconnector 将消费流转到MaxCompute的表。Step By Step物联...文章taro_秋刀鱼2020-02-072275浏览量图文...
数据治理——数据血缘简介
爱吃辣条的博客
04-18 4121
数据治理——数据血缘
如何根据Hive SQL代码生成Datahub数据集及血缘
zdsx1104的专栏
02-04 4048
识别、解析Hive、PG SQL代码，自动生成Datahub 表级、字段级血缘
Spark与Cassandra：打造分布式数据分析平台的关键策略
许鹏在《问底》栏目中探讨了如何利用Spark和Cassandra构建高性能数据分析平台。Spark作为强大的迭代计算框架，其在内存数据计算方面的高效性能使其在大数据处理中独树一帜。Cassandra则以其列式存储的NoSQL特性，在...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

enjoy编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值