浅谈数据中台的那些故事

近些日子,数据中台受到政府、集成商、供应商群起追捧,恨不得奉它为女神维纳斯.....可是很多人知其然不知其所以然,这层薄纱后面到底是人还是神?下面且听鄙人细细解说:

作为售前不得不关注东家的喜好,东家要上数据中台,你还得请教马爸爸。阿里为什么要上数据中台了?由于本人也没进过阿里,只是听坊间小道消息有这样说:因为阿里有1688、taobao、tmall、支付宝、蚂蚁金服等众多平台系统,数据需要互联互通,那么就存在这数据孤岛、标准不统一、数据接口繁杂等问题,所以马爸爸提出来数据中台,紧接着技术中台....阿里的确是很厉害,不仅技术厉害,思想还很新潮有用。

近些日子,本人跟很多企业客户沟通了解到,数据中台他们理解可能不完全一致,但基本有以下共识,我补充总结下。数据中台主要功能点:

1.数据采集:由于多个藩台,手握众多数据,独立自治。这导致总理机关缺少各地信息,号召数据全部汇聚到一个中心地方,这便是第一步工作。

2.数据存储:由于多地数据汇聚到了一个中心,当初机房还能存,一下子不够用了。好吧,服务器阵列码上,码上之后发现数据上亿万条读不出来,好吧,来分布式存储数据库hive/hbase/spark/mpp一起上起来。这便是第二步工作。

3.数据治理:数据是进来了,发现数据特么的全是格式不一致、数据类型代码集不一样、各地参照的国标行标不一致,全是问题。尼玛咋整?好吧,数据得建立一个统一标准管理、统一元数据管理、统一数据质量管理。这便是第三步工作。

4.数据接口:数据治理好了,立马头疼好了,谁的数据不对我找谁去,让他解释整改去!V587我的哥!但是,别人的部门要取数据,发现还得直接撞库,这样一来数据安全、数据权限乱套了.....好吧,统一数据服务接口,谁要数据得凭你的令牌来,我就给你多少数据,并且统计一下接口调用的频率和日志。这便是第四步工作。

5.数据读写可视化:前面四大步搞定数据中台主要工作了,领导来看建设成果,咋整?我们做一套三维可视化,把数据从源端到目标端的存量展示下吧,让领导看看数据情况。这便是第五步。

6.如果你还要搞数据挖掘、数据分析,请自行脑补,这个太多案例,,,,不一一赘述了。

至此,我把数据中台故事浅浅的讲完了,如果还不过瘾可以移步QQGroup935793192。Goodbye!

 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值