大数据平台设计

大数据总介

我们通常说的大数据，包括大数据本身和基于大数据的系统和技术。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。而基于大数据技术的应用层级分商业智能，和平台解决方案两种。

• 平台解决方案：偏技术层，基础层，解决数据处理，存储，清洗，收集，api提供，系统调度等操作
• 商业智能：分析，过滤，可视化，推荐，数据挖掘，机器学习等

公司里，一个完整的大数据系统为三大块：收集,存储，处理，各个系统之间交互都存在过滤，时间性和一定的容错机制

 

       (1)平台层：为大数据存储和挖掘提供大数据存储和计算平台，为多区域智能中心的分析架构提供多数据中心调度引擎; 

　　(2)功能层：为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能; 

　　(3)服务层：基于 Web 和 Open API 技术提供大数据服务。

其中功能层位于平台层之上，类似mvc中dao和service关系。一个分布式的平台层，和完善的功能层，才能为上层的业务提供可靠的服务。而根据不同的系统特点，选择不同的技术架构，是重中之重。

华为的Fusion系统：

各系统功能