既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
当前的数据中台定义是宽泛的,这与数据中台目前所处的实际业务阶段相符合。书中作者张旭老师认为数据中台至少首先是一个分布式的数据仓库,同时包含相对应实施的方法论和方案,介于分布式数据仓库和企业全面数据化中间的任意一个点都可以被定义为数据中台。
可以说,数据中台是实现企业全面数据化的一个解决方案,是一套支撑企业全面数据化的架构,会成为企业开展全面数据化的基础设施。
但数据中台这个东西,现在业界并没有一个完整的标准定义,每个人的经验和视角也不同,因此可能一百个学习者心中会有一百个中台,这里我主要结合我关于数据中台的学习做个总结:
(1)中台是什么?
企业级能力复用平台!
(2)如何构建中台?
一句话概括:“以用户为中心,从战略入手,愿景为指引,用科学有效的方法,步步为营沉淀企业级能力,辅以必要的组织与系统架构调整,方得中台。”
(3)中台的价值是啥?
中台为前台而生,专注于为前台赋能,沉淀企业的能力与复用,提升企业的客户响应力。
(4)如何成为数据中台的参与者?
数据中台围绕数据技术开展。除了编程技术、应用开发技术与传统的IT应用技术具有部分的重合,数据中台还有自己的技术体系,比如大数据开发技术、数据仓库建模技术、数据分析体系、数据应用技术体系等。
二、中台的发展历程
了解一个东西,需要首先了解它的发展史,又或者说看看它的过去,这里我们就先看看中台的发展历程:
-
2008~2015:孕育期
- 2008年阿里巴巴开始战略调整,重复建设与烟囱架构问题出现
- 阿里共享事业部诞生,前台系统中的公共部分开始平台化改造
-
2015:中台战略诞生
- 马云带领阿里高官走访芬兰游戏公司Supercell受到触动
- 阿里巴巴正式启动中台战略“大中台、小前台”
-
2017:横空出世
- 互联网大厂集体发声,各自分享中台建设经验
-
2018:全面爆发
- 互联网大厂集体宣布组织架构调整,正式将中台推上舞台
-
2019:迷雾仍存
- 中台的热度越发高涨,跟进企业越来越多,但问题不降反增
从2015年阿里提出了“大中台,小前台”的中台战略,提出之初阿里有近 4 亿用户,为超过 1000万各类企业提供服务,业务种类繁多,业务之间相互网状依赖。同时,阿里部门也越来越多,分工越来越细,沟通过多,相互依赖,创新成本非常高,对业务响应也越来越慢。
阿里需要找到能够对外界变化快速反应,整合阿里各种基础能力,高效支撑业务创新的机制,于是“中台”的概念就出现了。
如今,不管是身处浪潮一线的互联网大厂,还是传统行业的转型企业,似乎在2020年都有建设一个中台的需求(至少都在采取行动或开始学习),不管真的想进行能力沉淀复用 还是 追概念来个弯道超车,中台正在被越来越多的人熟知。
三、数据中台实践
以下是我阅读《数据中台架构:企业数据化最佳实践》一书的学习笔记,所有内容出自张旭老师的这本书。
3.1 第一步:数据资源的盘点与规划
数据化的基础是信息化或者信息化所产生的数据。这些数据本就有数据化的含义,同时这些数据又会进入数据化框架体系,继续通过计算产出更多的数据和更大的价值。所以,对企业数据资源的盘点是数据化建设的前提和基础。一份完整、准确的数据资源是后续数据化建设的有力保障。
数据资源的盘点与规划需要达到以下目的:
(1)对现有数据资源盘点和统计。
(2)对企业可以拥有或者应该拥有的数据资源进行规划。
(3)构建盘点体系并使用必要工具,保证盘点的成果能够始终与真实情况相符。
3.2 第二步:数据应用规划与设计
企业要基于现有的技术条件和方案,进行相对完整的数据应用规划。这个步骤可以回答如下问题。
企业中有哪些数据需求
我们要从业务线、业务层级到最细粒度的岗位,梳理数据需求。
企业应该构建哪些数据应用
我们要围绕数据需求进行数据应用的整体规划和设计。
应该按照什么顺序实现这些数据应用
我们要对数据应用建立评估模型,评估的维度包括数据应用是否可以实现、数据应用的业务价值、数据应用的实现成本这三个主要方面。通过评定结果,我们可以确定数据应用的实现路径。
3.3 第三步:数据资产建设
数据资产的建设要依托数据中台的核心产品完成。数据资产是企业数据化建设的关键基础。所有的数据化建设最后都以数据资产为基础,并且围绕这个基础展开。数据资产将是企业在全面数据化建设前期中投入最多、见效最慢的基础层模块。关于数据中台的种种探讨和争议以及妥协的很大一部分原因是这个基础建设庞大、复杂和投入高。
数据资产建设的内容包括以下几个方面:
技术建设
(1)产品选型。产品选型包括如何选择数据中台产品、数据中台产品应该具备的功能以及技术参数指标。
(2)技术架构设计。技术架构设计包括数据中台产品如何部署、如何替换传统的数据仓库或者与之并行、数据中台如何抽取当前的应用数据。
标准和数据仓库模型构建
(1)建模及开发规范。建模及开发规范包括数据仓库模型设计规范的制定,数据开发规范的制定,如何避免当前较为常见的数据开发混乱、难以运维的情况。
(2)数据建模。数据建模包括进行数据仓库模型构建,并提交评审。
数据抽取、数据开发、任务监控与运维
(1)数据抽取。数据抽取包括从数据资源层抽取数据进入ODS层。
(2)数据开发。数据开发包括进行数据任务开发,进行数据清洗、数据计算。
(3)任务监控与运维。任务监控与运维包括监控所有数据任务,对异常和错误任务进行必要的人工干预和处理。
数据质量校验
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
很难做到真正的技术提升。**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!