《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第12章 元数据

已于 2022-09-05 19:26:14 修改
阅读量597 收藏 1
点赞数 1
分类专栏： 【在线书籍】 文章标签： 大数据 数据仓库 数据挖掘
于 2022-09-05 14:11:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54252387/article/details/126703723
版权
本文介绍了阿里巴巴大数据实践中的元数据管理，包括元数据的定义、分类和价值。元数据在数据仓库中起着关键作用，帮助管理数据的全生命周期。通过元数据，可以实现数据驱动的决策，提高数据使用效率。元数据应用包括Data Profile、元数据门户、应用链路分析、数据建模和驱动ETL开发，助力数据的高效管理和运营。
摘要由CSDN通过智能技术生成

《大数据之路：阿里巴巴大数据实践》系列丛书

 第1章 总述

第1篇 数据技术篇
 第2章 日志釆集
 第3章 数据同步
 第4章 离线数据开发
 第5章 实时技术
 第6章 数据服务
 第7章 数据挖掘
第2篇 数据模型篇
 第8章 大数据领域建模综述
 第9章 阿里巴巴数据整合及管理体系
 第10章 维度设计
 第11章事实表设计
第3篇数据管理篇
 第12章 元数据
 第13章 计算管理
 第14章 存储和成本管理
 第15章 数据质量
第4篇数据应用篇
 第16章 数据应用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第14章 存储和成本管理
m0_54252387的博客
09-05 572
在大数据时代，移动互联、社交网络、数据分析、云服务等应用迅 速普及，对数据中心提出了革命性的需求，存储管理已经成为IT核心 之一。对于数据爆炸式的增长，存储管理也将面临着一系列挑战。如何 有效地降低存储资源的消耗，节省存储成本，将是存储管理孜孜追求的 目标。本章主要从数据压缩、数据重分布、存储治理项优化、生命周期 管理等的角度介绍存储管理优化
大数据之路、阿里巴巴大数据实践读书笔记 --- 第十二章、元数据
杨鑫newlife的专栏
04-12 570
一、元数据概念 元数据定义 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程； 元数据主要记录数据仓库中的模型的定义、各层级间的映射关系、监控数据仓库的数据状态一级ETL的任务运行状态； 在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便的找到他们所...
阿里巴巴大数据之路-元数据
liuya19921123的博客
11-16 1627
元数据 元数据概述 元数据定义 元数据（ Metadata ）是关于数据的数据 打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程 主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态 按用途分两类 技术元数据 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据 常见技术元数据类型 分布式计算系统存储元数据 理解为数据地图：如表、列、分区、责任人、生命周期等信息。 分布式计算系
阿里巴巴大数据实践之路-陈鹏宇.pdf
07-02
阿里巴巴大数据实践之路-陈鹏宇.pdf
阿里巴巴大数据实践之路.ppt
05-26
阿里巴巴大数据实践之路.ppt阿里巴巴大数据实践之路.ppt阿里巴巴大数据实践之路.ppt阿里巴巴大数据实践之路.ppt
阿里巴巴数据资产管理.pdf
10-07
阿里巴巴数据资产管理
《大数据之路：阿里巴巴大数据实践》：看阿里人从IT时代走向DT时代的经验之谈！_大数据之路 阿里巴巴大数据实践 感悟
最新发布
2401_84186109的博客
05-03 1151
规范定义主要定义指标体系，包括原子指标、修饰词、时间周期和派生指标，关于指标的规范定义阿里有单独的一节描述，大家可以好好学习一下，很多时候细节决定成败。
大数据之路：阿里巴巴大数据实践
qq_27639777的博客
08-16 6897
第1章：总述 如果说在IT时代是以自我控制、自我管理为主，那么到了DT（Data Technology）时代，则是以服务大众、激发生产力为主。阿里巴巴大数据系统体系架构主要分为数据采集、数据计算、数据服务和数据应用四大层次。 第2章：日志采集 阿里巴巴的日志采集体系方案包括两大体系：Aplus.JS是Web端（基于浏览器）日志采集技术方案：UserTrack是APP端（无线客户端）日志采集技术方案。 2.1 浏览器的页面日志采集 浏览器的页面型产品／服务的日志采集可分为如下两大类。 页面浏览（展现）日志
大数据之路 阿里巴巴大数据实践 读书笔记
南风晚
03-19 2383
一 、总述 人类正在从IT时代走向DT时代。现在的数据呈爆炸式增长，其潜在的巨大价值有待发掘。但是如果不对数据进行有序、有结构的分类组织和存储，它将变成一场灾难。 在阿里内部，数据的存储达到EB级别。这些给数据采集、存储、计算都带来了极大的挑战。随着数阿里内部数据量的剧增，以及日益丰富的业态，这些都给大数据系统的构建提供了更复杂的要求。 本书介绍的阿里巴巴大数据系统架构，就是为了满足不断变化的业务...
利用元数据管理数据质量
lsj960922的博客
04-25 903
什么是元数据       任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。在集群文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。元数据管理方式    ...
大数据之路读书笔记-09阿里巴巴数据整合及管理体系
数字人生
07-11 1698
面对爆炸式增长的数据，如何建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性， 直是大数据系统建设不断追求的方向。 OneData 即是阿里巴巴内部进行数据整合及管理的方法体系和工具。阿里巴巴的大数据工程师在这一体系下，构建统 、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。借助统一化数据整合及管理的方法体系，我们构建了阿里巴巴的数据公共层，并可以帮助相似的大数
《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第15章 数据质量
m0_54252387的博客
09-05 762
 数据质量是数据分析结论有效性和准确性的基础，也是这一切的前 提。如何保障数据质量，确保数据可用性是阿里巴巴数据仓库建设不容 忽视的环节。接下来将通过数据质量原则逐一展开介绍阿里巴巴对数据 仓库数据质量建设的方法。
数据模型篇之阿里巴巴数据整合及管理体系
Listen·Rain的博客
12-16 1042
阿里巴巴数据整合及管理体系
企业数据治理痛点与阿里巴巴数据治理方案
weixin_38754337的博客
07-05 1380
分享嘉宾：吴永明 阿里云 高级技术专家编辑整理：Taylor 东南数据实验室出品平台：DataFunTalk导读：随着大数据的深入发展，数据越来越成为公司的重要资产，但围绕数据流的全链路管理工作细致且技术复杂，数据的治理越来越成为DT时代数据资产化、价值化的关键核心，该如何成体系地构建数据治理框架？今天将介绍阿里巴巴在数据治理上的一些实践和总结。主要包括以下两方面内容：数...
2万字揭秘阿里巴巴数据治理平台建设经验
微信搜：import_bigdata，大数据领域硬核原创作者
02-22 1078
全网最全大数据面试提升手册！00前言阿里巴巴一直将数据作为自己的核心资产与能力之一，通过多年的实践探索建设数据应用，支撑业务发展。在不断升级和重构的过程中，我们经历了从分散的数据分析到平台化能力整合，再到全局数据智能化的时代。如今，大数据平台面临全新的挑战，特别是降本等数据治理需求的不断出现，今天阿里云 DataWorks 团队将其中一些建设经验与大家进行一些分享。01数据繁荣的红利与挑战大数...
大数据之路：阿里巴巴大数据实践，附339页PPT下载
帆软商业智能技术
02-08 8934
7份关于大数据的资料都整理好了，需要的自取，获取方式：转发+私信我回复：大数据 1.《大数据之路：阿里巴巴大数据实践》 2014年，马云提出，“人类正从IT时代走向DT时代”。如果说在IT时代是以自我控制、自我管理为主，那么到了DT(Data Technology)时代，则是以服务大众、激发生产力为主。以互联网(或者物联网)、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业，悄悄地改变着我们的生活。 2.大数据白皮书（2021版） 来源：中国信息通信研究院 大数据发展展望： 一是释放数
元数据管理实践&数据血缘
爱是与世界平行
03-01 4250
元数据血缘技术调研想把整个链路的数据血缘打通，避免不了自己去针对某个链路进行数据解析和采集，所以必须选择一款扩展性强的产品 首先应该搞清楚一个问题，我们究竟想要做成一个怎样的产品？是一个仅仅供内部使用，主要为了解决日常痛点，交互体验差一点也可以容忍？还是想做成一个成熟的，可以商业化的产品？具体的方案设计应该结合产品需求以及研发能力来综合考虑大概有三种做法：1、完全自研能做到最大的灵活性和体验，产品高度适配业务，但是有较高的研发成本，投入要求高2、使用开源产品，扩展功能。
大数据之路:阿里巴巴大数据实践 pdf
05-13
《大数据之路:阿里巴巴大数据实践》是一本介绍阿里巴巴大数据实践的书籍，该书主要介绍了在数据科学、数据初探、大数据中心、数据管理和数据分析方面的经验和实践。 该书首先介绍了阿里巴巴的数据科学实践，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九层之台起于累土

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值