元数据 - Amundsen

最新推荐文章于 2024-05-31 09:55:44 发布
最新推荐文章于 2024-05-31 09:55:44 发布
阅读量963 收藏
点赞数
分类专栏： 元数据管理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/O_n_O_/article/details/107817157
版权

推荐一款新得元数据管理工具 Amundsen

美国lyft公司开源，项目地址

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
还是比较活跃的，只是目前不支持血缘关系。

懒脖积泥
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【数据治理】Github 1.9K Star的数据治理框架-Amundsen
菜鸟叔叔的博客
06-11 594
Amundsen的使命，整理有关数据的所有信息，并使其具有普遍适用性。这是Amundsen官网的一句话，对于元数据的管理工作，复杂且繁琐。可用的工具很多各有千秋，数据血缘做的较好的应该是Apache Atlas，而数据可视化做的较好的应该是Apache Superset。业界一直需要一个可以整合这些功能，让数据治理更加的简单便捷，而这正是Amundsen的使命。类似于Atlas (Apache)，Datahub (LinkedIn)。Amundsen主要在于提高数据分析师，数据科学家和数据工程师的工作效率。
开源元数据管理平台Amundsen安装
JustinMars的博客
01-24 469
Amundsen是一个用于提高数据分析师、数据科学家和工程师在与数据交互时的生产力的数据发现和元数据引擎。目前，它通过索引数据资源（表、仪表板、流等）并基于使用模式（例如，高频查询的表会比低频查询的表更早显示）提供类似于PageRank的搜索来实现这一目标。可以将其视为数据的Google搜索。该项目以挪威探险家Roald Amundsen命名，他是第一个发现南极点的人。
元数据管理-Github 1.9K Star的数据治理框架-Amundsen
qq_31866793的博客
04-26 656
参考地址：https://mp.weixin.qq.com/s/yGZ1RJs2seu943sswxYYzw
探索数据治理的新境界：Amundsen Databuilder
gitblog_00093的博客
05-31 377
探索数据治理的新境界：Amundsen Databuilder 项目地址:https://gitcode.com/amundsen-io/amundsendatabuilder 在大数据时代，有效的元数据管理是成功的关键。Amundsen Databuilder，一个由Netflix和Amundsen社区共同维护的开源项目，为企业提供了一种强大的方式来构建、管理和理解其数据资产。 1、项目介绍 A...
Github 1.9K Star的数据治理框架-Amundsen
大数据流动
03-23 2309
Amundsen的使命，整理有关数据的所有信息，并使其具有普遍适用性。这是Amundsen官网的一句话，对于元数据的管理工作，复杂且繁琐。可用的工具很多但各有千秋，数据血缘做的较好的应该是...
数据治理之数据发现-元数据-DataHub
赵英超的博客
07-29 3768
元数据是用来描述数据的数据（Data that describes other data）。 下面是契诃夫的小说《套中人》中的一段，描写一个叫做瓦莲卡的女子： （她）年纪已经不轻，三十岁上下，个子高挑，身材匀称，黑黑的眉毛，红红的脸蛋－－一句话，不是姑娘，而是果冻，她那样活跃，吵吵嚷嚷，不停地哼着小俄罗斯的抒情歌曲，高声大笑，动不动就发出一连串响亮的笑声：哈，哈，哈！ 这段话里提供了这样几个信息：年龄（三十岁上下）、身高（个子高挑）、相貌（身材匀称，黑黑的眉毛，红红的脸蛋）、性格（活跃，吵吵嚷嚷，
探索数据之美：Amundsen - 数据发现与元数据管理的利器
gitblog_00054的博客
04-25 393
探索数据之美：Amundsen - 数据发现与元数据管理的利器 项目地址:https://gitcode.com/amundsen-io/amundsen Amundsen 是一个由 Lyft 开源的数据发现和元数据管理平台，它旨在提升数据使用者对数据的理解和效率，帮助他们更有效地找到、理解并信任所需的数据。 项目简介 Amundsen 命名自挪威极地探险家弗里德约夫·南森（Fridtjof Na...
元数据管理 开源项目技术选型
终回首的博客
07-23 5966
元数据管理或者叫数据发现服务 开源项目技术选型 目录一、元数据管理简介是什么？为什么？二、开源方案介绍Linkedin DatahubApache AtlasNetflix MetacatLYFT Amundsen三、详细对比四、推荐度 一、元数据管理简介 是什么？ 元数据（又称字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。 为什么？ 可以知道有哪些数据（数据资产地图） 可以知道数
【数据治理】数据治理工具-元数据管理
孟知之的搬砖填坑历险记
04-07 6069
数据治理里面最关键的元数据管理，元数据打通数据源、数据仓库、数据应用，记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息（也就是MetaStore）；动态的任务、表依赖映射关系；数据仓库的模型定义、数据生命周期；以及ETL任务调度信息、输入输出等。 元数据是数据管理、数据内容、数据应用的基础。例如可以利用元数据构建任务、表、列、用户之间的数据图谱；构建任务DAG依赖关系，编排任务执行序...
amundsen:Amundsen是一个元数据驱动的应用程序，用于在与数据进行交互时提高数据分析师，数据科学家和工程师的工作效率
04-27
Amundsen是一个数据发现和元数据引擎，用于在与数据进行交互时提高数据分析师，数据科学家和工程师的工作效率。 今天，它通过为数据资源（表，仪表板，流等）建立索引并基于使用模式（例如，查询量大的表比查询量少...
amundsenfrontendlibrary:Amundsen 的前端服务库
08-04
已弃用：请访问 Amundsen 项目 。 此存储库将暂时保留，以允许用户优雅地过渡。 阿蒙森前端服务 ... 另请参阅我们的说明，了解如何使用虚拟数据Amundsen 设置，以及架构概述。 要求 Python >= 3.6 节
腾讯数据湖的元数据治理
04-02
同时，腾讯数据湖也使用了Lyft Amundsen架构与实现，提供了更好的元数据管理体验。 腾讯数据湖的元数据治理实践，为我们提供了一个非常有价值的参考。它展示了如何使用湖仓一体、统一元数据、多租户管理、Schema...
Python库 | amundsen_rds-0.0.4-py3.6.egg
02-21
《Python库：amundsen_rds-0.0.4-py3.6.egg——探索数据发现与元数据管理》 在IT行业中，Python以其简洁的语法和强大的功能成为了开发人员的首选语言，尤其在数据科学和后端开发领域。Python库是Python生态系统的...
Amundsen是一个元数据驱动的应用程序，用于在与数据进行交互时提高数据分析师，数据科学家和工程师的工作效率。-Python开发
05-25
Amundsen是一个数据发现和元数据引擎，用于在与数据进行交互时提高数据分析师，数据科学家和工程师的工作效率。 今天，它通过为数据资源（表，仪表板，流等）建立索引并基于使用模式（例如，查询量大的表比查询量少...
基于Springboot和Vue的在线视频教育平台源码 在线视频教育平台代码（高分毕设项目）
08-03
在线视频教育平台源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
MATLAB实现的生成对抗网络AAE-内含数据集和结果文件.zip
08-03
MATLAB实现的生成对抗网络AAE-内含数据集和结果文件.zip
java毕业作品-VB.NET构建跨平台聊天通信软件(源代码+论文+开题报告+答辩PPT)
最新发布
08-03
java毕业作品_VB.NET构建跨平台聊天通信软件(源代码+论文+开题报告+答辩PPT)
amundsen载入MySQL元数据代码
05-30
以下是一个示例代码，用于从MySQL数据库中载入元数据到Amundsen： ```python from pyhocon import ConfigFactory from databuilder.extractor.mysql_metadata_extractor import MySQLMetadataExtractor from databuilder.loader.file_system_elasticsearch_json_loader import FSElasticsearchJSONLoader from databuilder.publisher.elasticsearch_constants import * from databuilder.task.task import DefaultTask from databuilder.pipeline.pipeline import Pipeline # 定义MySQL连接信息 mysql_conf = ConfigFactory.from_dict({ 'extractor.mysql_metadata.{}'.format(METADATA_EXTRACTOR_SOURCE_HOST): 'localhost', 'extractor.mysql_metadata.{}'.format(METADATA_EXTRACTOR_SOURCE_PORT): 3306, 'extractor.mysql_metadata.{}'.format(METADATA_EXTRACTOR_USERNAME): 'mysql_user', 'extractor.mysql_metadata.{}'.format(METADATA_EXTRACTOR_PASSWORD): 'mysql_password', 'extractor.mysql_metadata.{}'.format(METADATA_EXTRACTOR_DATABASE): 'my_database', }) # 定义Elasticsearch连接信息 es_conf = ConfigFactory.from_dict({ 'loader.filesystem.elasticsearch.{}'.format(ELASTICSEARCH_CLIENT_MODE): 'default', 'loader.filesystem.elasticsearch.{}'.format(ELASTICSEARCH_HOST_PORT): 'localhost:9200', 'loader.filesystem.elasticsearch.{}'.format(ELASTICSEARCH_INDEX): 'metadata', 'loader.filesystem.elasticsearch.{}'.format(ELASTICSEARCH_DOC_TYPE): 'my_metadata', }) # 定义MySQL Metadata Extractor mysql_extractor = MySQLMetadataExtractor() mysql_extractor.init(mysql_conf) # 定义Elasticsearch Loader es_loader = FSElasticsearchJSONLoader() es_loader.init(es_conf) # 定义任务并运行 task = DefaultTask(extractor=mysql_extractor, loader=es_loader) task.execute() ``` 在这个示例代码中，我们首先定义了MySQL和Elasticsearch的连接信息，并使用这些信息初始化了MySQLMetadataExtractor和FSElasticsearchJSONLoader。然后，我们定义了一个DefaultTask，并使用MySQLMetadataExtractor和FSElasticsearchJSONLoader初始化它。最后，我们运行了这个任务，它将从MySQL数据库中提取元数据并将其写入Elasticsearch。 请注意，这只是一个示例代码，你需要根据自己的实际情况自定义连接信息和任务配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

懒脖积泥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值