数据中台
数据中台
程序员学习圈
值得去的地方,没有捷径;难走的路,才更值得开始!
展开
-
阿里巴巴数据中台实践分享
01、中台模式驱动全集团业务02、数据驱动业务的典型场景03、阿里数据中台体系的核心要素04、数据中台:数据资产化05、数据中台:OneData数据资产化核心方法论06、数据中台:数据资产化核心方法论-OneModel07、数据资产化核心方法论-OneModel08、数据中台:服务产品化09、数据中台:OneData方法论驱动的平台智能化10、数据中台:创新敏捷化11、企业数据中台:“欲速则不达”的陷阱12、企业数据中台:方法论+自动化支持的逐层构建原创 2020-10-21 12:10:36 · 3404 阅读 · 0 评论 -
《数据中台实战课》实现篇-学习笔记
4、元数据中心的关键目标和技术实现方案5、如何统一管理纷繁杂乱的数据指标6、数据模型无法复用,归根结底还是设计问题7、同事老打脸说数据有问题,该怎么彻底解决8、交付速度和质量问题解决了,老板说还得“省”9、数据服务到底解决了什么问题?10、数据服务难道就是对外提供个API吗?11、怎么一劳永逸地解决数据安全问题?12、数据的台子搭完了,但你还得想好戏该怎么唱13、数据研发就只是写代码吗14、数据被加工后,你还要学会使用和管理数据15、数据中台在网易电商业务的最佳实践16、结束语原创 2020-10-21 10:50:23 · 11560 阅读 · 0 评论 -
《数据中台实战课》原理篇-学习笔记
1、为什么说数据中台是大数据的下一站?2、到底什么样的企业应该建数据中台?2.1 建设中台前,我们面临的挑战(数据中台解决的问题)2.2 为什么数据中台可以解决这些问题(问题背后的原因)2.3 数据中台如何解决这些问题的?2.4 什么样企业适合建设数据中台?3、数据中台建设三板斧:方法论、组织和技术原创 2020-10-20 11:01:23 · 1072 阅读 · 0 评论 -
《大数据之路:阿里巴巴大数据实践》第四篇 数据应用篇-读书笔记
16.数据应用 本篇主要介绍两个应用:提供给外部商家使用的数据产品平台-生意参谋和服务于阿里巴巴内部的数据产品平台16.1 生意参谋 作为大数据公司,阿里巴巴在推动业务数据化的同时,也在不断地帮助商家实现数据业务化。在对外产品方面,阿里巴巴以“生意参谋”作为官方统一的数据产品平台,为商家提供多种多样化,普惠性的数据赋能; 截止2016财年,生意参谋累计服务商家已超过2000万,越服务商家超过500万。在月成交额30W元以上的商家中,逾90%每月登陆天次超20次;原创 2020-09-11 14:51:19 · 679 阅读 · 0 评论 -
《大数据之路:阿里巴巴大数据实践》第三篇 数据管理篇-读书笔记
12.元数据12.1 元数据概念12.1.1 元数据定义 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中的模型的定义、各层级间的映射关系、监控数据仓库的数据状态一级ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便的找到他们所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。 元数据可以分为技术元数据 和 业务元数据。* 技术元数据原创 2020-09-10 10:41:17 · 1741 阅读 · 0 评论 -
《大数据之路:阿里巴巴大数据实践》第二篇 数据模型篇-读书笔记
为什么需要数据建模* 性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐。* 成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。* 效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。* 质量:良好的数据模型能改善数据统计口径的不一致,减少数据计算错误的可能性。 因此,毋庸置疑,大数据系统需要数据模型方法来帮助更好地组织和存储数据,以便在性能、成本、效率和质量之间取得最佳平衡。原创 2020-09-09 22:56:57 · 1572 阅读 · 0 评论 -
《大数据之路:阿里巴巴大数据实践》第一篇 数据技术篇-读书笔记
2.日志采集本章主要介绍数据采集中的日志采集部分,阿里巴巴的日志采集体系方案包括两大体系:Aplus.JS是Web端( 基于浏览器)日志采集技术方案;UserTrack是APP端(无线客户端)日志采集技术方案。本章从浏览器的页面日志采集、无线客户端的日志采集以及我们遇到的日志采集挑战三块内容来阐述阿里巴巴的日志采集经验。原创 2020-09-09 22:28:56 · 851 阅读 · 0 评论 -
《大数据之路:阿里巴巴大数据实践》总述-读书笔记
今天花了些时间较为详细的阅读了《大数据之路:阿里巴巴大数据实践》,主要内容如下及后续篇幅。从下至上依次分为数据采集层、数据计算层、数据服务层、数据应用层。 数据采集层:以DataX为代表的数据同步工具和同步中心。 数据计算层:以MaxComputer为代表的离线数据存储和计算平台。 数据服务层:以RDS为代表的数据库服务(接口或者视图形式的数据服务)。 数据应用层:包含流量分析平台等数据应用工具。原创 2020-09-08 21:19:59 · 820 阅读 · 0 评论 -
《大数据大创新:阿里巴巴云上数据中台之道》-读书笔记
0. 前言1.大数据的发展历程和价值探索1.1大数据发展的关键事件1.2 大数据的内涵和外延2.阿里的大数据主张2.1 云上数据中台赋能业务运行图2.2阿里数据中台赋能业务全景图3.阿里云上数据中台之建设过程3.1 烟囱式开发带来的困扰和资源浪费3.1.1 业务困扰3.1.2 技术困扰3.2数据公共层力求让业务和技术都满意3.3 阿里云上数据中台三大体系3.4 阿里数据中台及赋能业务模式支撑3.5 数据中台技术的数字表现3.6 数据中台六大数据技术领域3.7 数据中台建设方法原创 2020-06-01 18:29:37 · 1199 阅读 · 0 评论 -
数据中台【阿里数据中台建模】
阿里中台的概念,可以说是近些年来的颇为火爆的概念。从十余年前的阿里在内部完成这一过程,并提出了“中台”概念;到后面中台概念逐步被外部接受并在2019年爆火兴起。数据中台爆火背后,既有传统企业转型焦虑的市场东风,又有阿里中台战略示范效应的推波助澜。下图为阿里中台架构(图片来自网络),其内置“大中台、小前台”的战略,其中包含了业务中台和数据中台的双中台配置。原创 2020-04-29 00:38:10 · 708 阅读 · 0 评论 -
数据中台【建设步骤】
1.组织规划1.1 制定战略规划1.2 完善组织结构1.3 建立制度体系1.4 设置审计机制1.5 进行培训宣贯2.现状梳理2.1 组织现状2.2 业务现状2.3 技术现状2.4 数据资源现状2.4.1 数据资源的分类2.4.2 数据资源的梳理步骤3.应用服务规划3.1 数据应用规划3.1.1 数据应用分类3.1.2 数据应用规划步骤3.1.3 数据应用评估模型3.2 数据服务规划3.2.1 数据服务分类3.2.2 数据服务的核心价值3.2.3 数据服务类型原创 2019-10-17 19:18:05 · 5904 阅读 · 0 评论 -
数据中台【概述篇】
1.数据中台的定义2.中台的分类2.1 中台的分类2.2 数字化中台分类3.数据中台的核心能力4.数据中台的演进过程5.数据中台的价值5.1 业务价值5.2 技术价值6.什么样企业适合建数据中台7.数据中台的目标准则8.数据中台五大体系9.数据中台建设策略10.数据中台建设步骤原创 2019-10-14 15:20:04 · 7139 阅读 · 0 评论