大数据平台建设路径

数字化转型这几年成为了集团公司或大型企业寻求业务突破的重要手段，而且各行各业都不乏成功案例，例如金融行业的建设银行、招商银行、平安保险等，还有一些生动的例子，例如百丽鞋业。而国外的经典案例就是亚马逊和特斯拉。

集团客户动静都很大，首先要做咨询规划，必须跟上投入和管理配套，然后可以开始平台建设，最终开始应用，赋能各业务线和产品线。

从技术的角度，一个完整的大数据平台通常会三期建设。先看下图：蓝色部分是第一期内容，绿色部分是第二期内容，橙色部分是第三期内容。

第一步，先建设大数据基础平台。首要满足的是数据汇聚、数据存储、数据计算三大块功能，也是最内核的功能。主要内容有数据仓库组建、数据抽取（ETL）、作业调度、数据服务、以及应对大规模节点和集群的监控运维管理功能等。当然还应包含用户、权限、数量统计等基础功能。根据目标数据量和SQL复杂度（例如多表JOIN）来规划采购内容，功能全、系统稳定、性能高、价格合理是技术产品选型的核心考量。这两年和长远看还要考虑国产化和信创。

第二步，基于大数据基础平台建设数据治理等功能。目标是把汇聚进来的海量数据，往往又是异构的数据经过预处理，再进一步进行数据治理和数据管理（二者区别参看CMMI的DMM）。主要内容有元数据管理、数据资