大数据分析系统包含哪些功能板块

　　大数据系统应包含以下功能模块：多数据源获取数据模块;数据预处理模块(清洗、验证等)，数据存储模块，数据处理模块、数据分析模块等(预测分析、生成使用建议等)，呈现和可视化的总结、汇总模块。

　　一、多数据源获取

　　大数据系统是生态系统，需要对各种不同种类来源的数据进行分析。这些数据可能来自在线Web应用程序、批量上传或feed、流媒体直播数据、来自工业、手持、家居传感的信息等。

　　不同数据源提供的数据使用不同的协议，具有不同的格式。在线的Web应用程序可能会使用SOAP/XML格式通过HTTP发送数据，feed可能会来自于CSV文件，其他设备则可能使用MQTT通信协议。

　　二、数据处理

　　要对获取的到数据进行分析，验证，清洗，转换，去重，然后存到适合你们公司的一个持久化设备中(硬盘、存储、云等)。

　　三、存储数据

　　一旦数据进入大数据系统，清洗，并转化为所需格式时，这些过程都将在数据存储到一个合适的持久化层中进行。

　　四、数据处理和分析

　　在这一阶段中的一部分干净数据是去规范化的，包括对一些相关的数据集的数据进行一些排序，在规定的时间间隔内进行数据结果归集，执行机器学习算法，预测分析等。

　　五、数据的可视化和数据展示

　　展示经过各个不同分析算法处理过的数据结果。该步骤包括从预先计算汇总的结果(或其他类似数据集)中的读取和用一种友好界面或者表格(图表等等)的形式展示出来。这样便于对于数据分析结果的理解。

　　平台的每个子系统所包含的功能各不相同，而正是这些功能各不相同的模块组合成了有实际使用价值的大数据分析平台，实现了对各类业务的前瞻性预测及分析，为用户提供了统一的决策分析支持，从而更好地彰显出平台本身的价值。