数据中台从Magnet开始（1）之数据处理

我是2019年中旬知道数据中台的，从那时开始关注一些关于数据中台的文章，结合自己的理解做出的实践，Magnet就是这样诞生的，没有任何干扰，做自己想做的事。

1、什么是数据中台？

数据中台的概念是最早由阿里巴巴首次提出，是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题，而在技术、组织架构等方面采取的一些变革，其本质上还是一个平台，阿里称之为“共享服务平台（Shared Platform as Service，SPAS）”。SPAS采用的是基于面向服务的架构SOA理念的 “去中心化”的服务架构，所有的服务都是以“点对点”的方式进行交互。阿里之所以选择“去中心化”的分布式服务架构，主要是考虑到扩展性。

这是在知乎上找到的定义，从上面来看云山雾罩的，我是没有看懂，我们再来看一下数据中台的起源，说不定能找到。

中台的灵感来源于芬兰的小公司Supercell，这家公司仅有300名员工，却接连推出爆款游戏，是全球最会赚钱的明星游戏公司。

Supercell开创了中台的“玩法”，并将其运用到了极致。这家看似很小的公司，设置了一个强大的中台，用以支持众多的小团队进行游戏研发。这样一来，各个团队就可以专心创新，不用担心基础却又至关重要的技术支撑问题。

这样说就简单多了，我的理解就是提供强大的公共平台支撑来自不同需求的业务。

2、数据中台的构成

• 数据仓库：用来存储数据的，结构性数据、非结构性数据等，还有离线数据和实时数据等。
• 大数据中间件：包含了大数据计算服务、大数据研发套件、数据分析及展现工具。
• 数据资产管理：按照阿里的体系应该分为垂直数据、公共数据和萃取数据3层。

3、Magnet

Magnet属于大数据中间件

 

Magnet简单演示

Magnet的目标是统一接口在不同平台使用不同计算引擎处理数据。

执行环境：java 8

示例：链接: https://pan.baidu.com/s/1b_GUFdfe9nPaJOo2iqFWHw 提取码: fivd

lib：链接: https://pan.baidu.com/s/17gGrNBZTc5jIrJwlcRd-Nw 提取码: mxst

码云：https://gitee.com/huanStephen/magnet

技术交流QQ群：1051174317