在搭建大数据分析平台之前,要先明确业务需求场景以及用户的需求,通过大数据分析平台,想要得到哪些有价值的信息,需要接入的数据有哪些,明确基于场景业务需求的大数据平台要具备的基本功能,来决定平台搭建过程中使用的大数据处理工具和框架。
大数据分析平台自下而上一般分为三个部分,分别为:数据层、大数据采集与存储、数据分析及展示。
(1)数据层,针对不同系统进行分析,制定系统数据采集范围与目标,收集各个业务系统产生的各类数据,将各种结构化和非结构化数据进行整合,为大数据的分析提供支撑。
(2)大数据采集与存储旨在为各类异构数据研制适配接口,与其他各系统对接,并为数据提供适配、转换、存储等基本管理功能,基本步骤包括:
数据抽取:针对大数据分析平台需要采集的各类数据,分别有针对性地研制适配接口。对于已有的信息系统,研发对应的接口模块与各信息系统对接,不能实现数据共享接口的系统通过ETL工具进行数据采集,支持多种类型数据库,按照相应规范对数据进行清洗转换,从而实现数据的统一存储管理。
数据预处理:为使大数据分析平台能更方便对数据进行处理,同时为了使得数据的存储机制扩展性、容错性更好,需要把数据按照相应关联性进行组合,并将数据转化为文本格式,作为文件存储下来。
数据存储:为了提升数据存储的扩展性和容错性,采用主流的大数据框架对各类数据统一进行文本化存储,数据按相应规则存储,实现每日保存一套完整数据文件集,形成数据仓库。
(3)数据分析