大数据分析平台由哪些部分组成

　　在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本功能，来决定平台搭建过程中使用的大数据处理工具和框架。

 

　　大数据分析平台自下而上一般分为三个部分，分别为：数据层、大数据采集与存储、数据分析及展示。

 

　　(1)数据层，针对不同系统进行分析，制定系统数据采集范围与目标，收集各个业务系统产生的各类数据，将各种结构化和非结构化数据进行整合，为大数据的分析提供支撑。

 

　　(2)大数据采集与存储旨在为各类异构数据研制适配接口，与其他各系统对接，并为数据提供适配、转换、存储等基本管理功能，基本步骤包括：

 

　　数据抽取：针对大数据分析平台需要采集的各类数据，分别有针对性地研制适配接口。对于已有的信息系统，研发对应的接口模块与各信息系统对接，不能实现数据共享接口的系统通过ETL工具进行数据采集，支持多种类型数据库，按照相应规范对数据进行清洗转换，从而实现数据的统一存储管理。

 

　　数据预处理：为使大数据分析平台能更方便对数据进行处理，同时为了使得数据的存储机制扩展性、容错性更好，需要把数据按照相应关联性进行组合，并将数据转化为文本格式，作为文件存储下来。

 

　　数据存储：为了提升数据存储的扩展性和容错性，采用主流的大数据框架对各类数据统一进行文本化存储，数据按相应规则存储，实现每日保存一套完整数据文件集，形成数据仓库。

 

　　(3)数据分析