菜鸟蜀黍
日常工作记录心得分享,力求浅显易懂,图文并茂,欢迎点赞关注,交流指正!!!
展开
-
【数据治理】数据治理方案技术调研 Atlas VS Datahub VS Amundsen
数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。在数据治理过程中,经常会遇到这些问题: 数据都存在哪? 该如何使用这些数据? 数据是做什么的? 数据是如何创建的? 数据是如何更新的?。。。。。数据发现平台的目的就是原创 2022-06-12 11:46:06 · 388 阅读 · 0 评论 -
【数据治理】Github 1.9K Star的数据治理框架-Amundsen
Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性。这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐。可用的工具很多各有千秋,数据血缘做的较好的应该是Apache Atlas,而数据可视化做的较好的应该是Apache Superset。业界一直需要一个可以整合这些功能,让数据治理更加的简单便捷,而这正是Amundsen的使命。类似于Atlas (Apache),Datahub (LinkedIn)。Amundsen主要在于提高数据分析师,数据科学家和数据工程师的工作效率。原创 2022-06-11 18:22:55 · 592 阅读 · 0 评论 -
【指标体系】最新数仓指标体系建模方法
指标体系指标建设过程中遇到的问题指标建设方法论指标的构成如何设立指标体系评价指标体系指标管理场景落地总结提起指标这个词,每个人似乎都可以说出几个指标,像经常在工作中会听到的日活、月活、注册率、转化率、交易量等 事实上指标就是用来量化事物的一个工具,帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏,用户粘性等等,例如我们通过日活能去判断出我们整个产品的用户量,从而能反应出我们这个产品的一个健康程度,也就是否处于增长过程中。一个好的数据指标体系可以助力业务快速的解构业务、理转载 2022-06-11 16:19:29 · 279 阅读 · 0 评论 -
【数据治理】什么是时序数据?如何治理?有哪些应用场景?终于有人讲明白了
时序数据处理应用于智慧城市、物联网、车联网、工业互联网领域的过程数据采集、过程控制,并与过程管理建立一个数据链路,属于工业数据治理的新兴领域。本文主要讲解时序数据的定义、典型特点、时序数据的应用场景、数采难点及时序数据工具等内容...原创 2022-05-09 17:43:43 · 1379 阅读 · 0 评论 -
【数据治理】One ID中的核心技术ID-Mapping究竟是怎么实现的
为啥要做ID Mapping?其实技术都是为了解决实际业务问题的。如果没有数据孤岛的问题,也就不会有这波澜壮阔的数字技术发展和改革。在 10 多年前的时候,当时IT界都还在做“四库十二金”的项目。我就接了这么一个活,就是把一个地区的所有地址给弄干净。这可就费劲了,因为同一个地址有 N 多种写法,比如说“大裤衩”,全称叫“中央电视台总部大楼”,门牌号是“北京市朝阳区东三环中路32号”,也有别称叫“中央电视台新址”,而且还有具体经纬度。这么乱的情况,一不小心就给弄错了。我们当时接的项目就是把这乱七八糟的地原创 2022-05-04 06:27:50 · 941 阅读 · 0 评论 -
【数据治理】都柏林核心元素集(DC)
都柏林核心元素(以下简称DC)集是一个致力于规范Web资源体系结构的国际性元数据解决方案,它定义了一个所有Web资源都应遵循的通用的核心标准,其内容较少,也比较通用,因此得到了其他相关标准的广泛支持。面向其他类型资源的元数据标准,基本上都兼容DC标准,并对它作了扩展。它已经成为Internet的正式标准RFC2413和美国国家信息标准Z39.85。...原创 2022-04-11 14:37:36 · 1288 阅读 · 0 评论 -
【数据治理】数据分析八大模型:OGSM模型
OGSM是一套企业管理方法论,包含四个部分 O(Objective):目的,指企业要达成的目标,一般是定性描述 G(Goal):目标,从企业目标里拆分出的,可量化/可跟踪的目标 S(Strategy):策略,达成目标的做法组合 M(Measurement):度量,衡量策略是否执行到位...原创 2022-04-06 10:02:50 · 773 阅读 · 0 评论 -
【数据治理】数据元=元数据?
数据元和元数据这两个概念一般人比较容易混淆,之前我也比较困惑,读了10几篇关于这方面的文章和相关书籍,终于对这两个词有了比较深刻的理解,下面我们看下他们之间的**2个共同点和5个差异点**。...原创 2022-04-06 09:46:23 · 1056 阅读 · 0 评论 -
【数据治理】数据湖治理实践:腾讯云数据湖元数据实践指南
最近数据湖非常的火,但是一旦没弄好,就会变成“数据沼泽”。如何避免“数据湖”变成“数据沼泽”呢?最好的办法就是治理先行。原创 2022-04-06 09:20:21 · 747 阅读 · 0 评论 -
基于 Flink SQL 构建流批一体的 ETL 数据集成
Flink 对各个系统的数据接入能力、维度打宽能力、入仓/入湖能力都已经非常完善了。在 CDC 流式读取上,Flink 已经支持了主流的数据库和 Kafka 消息队列。在数据湖方向,Flink 对 Iceberg 的流式读取和 CDC 写入的功能也即将在接下来的 Iceberg 版本中发布。从这个能力矩阵可以看出,Flink 的数据集成能力是非常全面的原创 2022-04-02 17:26:08 · 820 阅读 · 0 评论 -
【数据治理】数字治理的效度、温度、 尺度
近三十年来,数字技术迅猛发展,由此生成的数据也在数量、颗粒度、实时性和多样性等方面迅速提升,为人类的政治、经济和社会生活的方方面面带来了巨大改变。**数字治理也得到了许多国家的高度重视和大力推进,实践者和学术界对于通过利用数字技术提升政府效率效能、优化公共政策制定、提高公共服务水平、扩大公众参与、推进制度转型等方面的前景充满了期待,刻画了各种美好的“未来图景”。...原创 2022-04-02 16:58:30 · 3176 阅读 · 0 评论 -
【数据治理】电力行业数据治理解决方案
本篇从**组织,管理,技术,执行**四个部分构建数据治理体系。主要内容如下。第一部:**现状问题目标**价值****,分析了数据治理的现状,没有体系,缺少标准,数据质量太差以及这些现状导致的问题,根据这些问题推导出数据治理的目标,如果实施数据治理的意义和价值 。 第二部:**数据治理体系架****构,**分别从组织,管理,技术,执行四个部分构建数据治理体系。第三部**:标准化管理,**标准化的定义,制定原则,落地原则,工作步骤 ,实施策略,实施策略,指标体系示例(电力)等第四部分:**元数...原创 2022-04-02 16:55:55 · 3958 阅读 · 0 评论 -
【数据治理】数据治理8种方法
个人觉得这8种方法中监管驱动法和利益驱动法是最常见的,也是一直在治,但只能局部治理的方法,未来是数字时代,必须体系构建(顶层设计)+价值驱动(利益驱动法)+技术支撑(技术推动法)+如果再有监管强制治理...转载 2022-04-02 16:51:50 · 30422 阅读 · 12 评论 -
【数据治理】浅谈数据治理
近年来,数据治理成为挖掘数据价值的重要手段和工具。随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构,面向大数据架构下,为数据资源中心与外部数据系统提供数据服务。那么,数据治理到底治什么?...原创 2022-04-02 16:46:21 · 1184 阅读 · 0 评论 -
【数据治理】行业数据治理实践
相当不错的一篇模态数据治理文档推荐给大家,希望对大家有帮助。本篇总共5部分,从DG背景开始,DG流程化,DG自动化,DG智能化逐步递进,以及DG的应用和对未来的趋势预判。原创 2022-04-02 16:43:49 · 175 阅读 · 0 评论 -
【数据治理】终于有人把数据安全治理讲明白了
数据安全治理是通过制定数据安全策略和流程来保护企业数据,涉及数据、业务、安全、技术、管理等多个方面原创 2022-04-02 16:32:09 · 22333 阅读 · 0 评论 -
【数据治理】数据治理之元数据管理的利器——Atlas入门宝典
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富,也不够详细。所以整理了这份文档供大家学习使用。 ...原创 2022-04-02 16:29:28 · 1502 阅读 · 0 评论 -
数据治理之数据标准管理
原创 2022-02-24 16:43:20 · 157 阅读 · 0 评论 -
中国数据治理现状调研报告(2021)
为掌握国内数据治理的实际现状,CIO时代于 2021年 9月开展数据治理调研工作。通过调研各单位数据治理现状,以及数据治理工作的难点、痛点,结合相关专家和企业的访谈,力争全面客观的描绘国内数据治理在技术、管理、人才等方面的现状、发展趋势,深度分析国内数据治理面临的共性问题,并尝试提出相应的解决方法,希望借此推动国内数据治理工作的开展。原创 2022-02-24 16:19:40 · 1297 阅读 · 0 评论 -
阿里巴巴数据治理实践
阿里巴巴数据治理实践,讲述企业数据治理的典型痛点,洞察数据治理成功的关键,理清数据治理发展实施阶段的工作内容原创 2022-02-24 15:40:20 · 3294 阅读 · 0 评论 -
【数据治理】2021年 中国数据治理行业:全链产业图谱梳理
数据治理是数据管理的延伸和进阶,集成不同数据治理工具, 构建数据中台,建设全域数据治理是趋势中的发展路径,在各行业和政府的数据治理招标项目中,甲方的痛点在于自身对数据治理的认知比较浅显,对项目实施细则和后续运维工作都不清晰,与数据治理厂商存在信息不对称。通过溯源厂商布局数据治理的路径,以在趋于数据治理产品同质化的市场中,发现厂商数据治理提供的服务和技术所倚重领域,解决甲方选标痛点。...原创 2022-02-24 15:26:32 · 2084 阅读 · 0 评论 -
【数据治理】华为数据治理之旅
简述华为数据治理的历程原创 2022-02-24 15:05:16 · 254 阅读 · 0 评论