大数据处理过程的通俗理解

大数据处理过程的通俗理解

转载声明：

本文系转载自以下文章：

• 原始数据、数据清洗、数据集市、数据处理、数据可视化的通俗理解
  作者：多智时代

转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。

摘要

“大数据分析”这么高大上，怎么讲才能最通俗呢，做饭和大数据有什么关系呢?请听下面分析：

0x01 原始数据

菜地里的毛菜(原始系统的数据，有错误，不精准，毛菜有泥巴，有黄叶子)，相当于ERP，PDM系统里面的原始数据。

0x02 数据源到ODS

从菜地里采集到家，分门别类的堆在一起(初步去掉泥巴，黄叶子，分类堆放)，相当于从原系统到ODS。

ODS的意思是操作数据，即原始系统中的操作数据的一个副本，与原始数据是一模一样的，叫贴源，这个过程就叫数据采集、清洗、转换，即ETL干的事情，这个阶段叫初加工。

0x03 ODS到数据仓库

把拿回家的各种菜洗净，去皮，按大小分类，去掉小的、烂的蔬菜，可以卖给超市了。

对BI项目来说，就是从ODS到数据仓库的过程，数据的精加工过程，去伪存真，也要用到ETL来清洗转换，对缺项的数据补充完整，比如合并数据，合并字段，增加主数据描述字段，补充分类等。

0x04 数据仓库到数据集市

从菜农卖到超市，超市还要经过一次加工，比如包装成一小包一小包的，把蔬菜放在一起，水果放在一起，便于顾客直接购买。

这一步就是从数据仓库到数据集市的过程，数据集市就是包好、称好的净菜，价签已经打好的了，顾客直接付款可以拿走了。

从数据仓库到数据集市就是形成一个一个的数据立方体，这个立方体的数据是加工好的，可以单独发布出去，离线使用，相当于一个execl数据文件，你可以用EXECL工具打开，也可以用WPS打开，打开以后，可以用表格表示，也可以用图表表示。

0x05 报表制作

妈妈配菜，妈妈根据家人一天要吃的菜肴规划，挑选各种各样的菜、肉组合在一起，有的直接可以食用，有的需要再加工，即烹调，然后端出来摆到餐桌上，家人只需要带一张嘴即可享用。

对BI项目来说，就是报表的制作过程，业务分析人员，根据领导的要求，按照各个主题需求，从各个数据立方体中、或者一部分从数据仓库中取一些数据组合起来，并且定义展现方式，即把报表做好，发布出来，放到门户上，给与权限控制，哪些人可以享用这桌美味，这就是报表制作这个阶段干的事情。

所以说，业务人员是否可以拖拽制作报表，关键看前面的数据立方体准备好没有。相当于是这样的，不是人人都是烹调高手，但是超市里面有很多配好的菜(葱姜蒜都有了)，你只要拿回去放放锅里炒5分钟或者蒸煮10分钟，端出来即可，不难吧。至于加工的工具是微软家的锅还是IBM家的灶，或者oracle家的瓢，有什么关系呢，这些都是报表制作工具(烹调工具而已)。

0x06 管理人员查阅报表

享受美味佳肴，把做好的一桌筵席，放到门户上，当然是给有权限的人享受。

对应到工作就是决策层查阅所有结果报表。