PowerBI - 2.支持大数据数据采集平台

可以支持结构化数据、非结构化数据、实时数据等多种数据来源。并支持图形化的ETL 处理能力、计划调度能力。在本方案中使用一系列的解决方案，使组织能够信任其数据的可信性和一致性，以便组织可以作出关键业务决策。

1. 企业级成熟的Hadoop和数据仓库解决方案，完整的工具和实施方法论。在业界中的排名领先。
2. Hadoop 群集负责非结构化数据和实时数据的ETL 处理。 并且每个Hadoop 群集必须具备2个主节点，确保Hadoop 群集的可靠性。同时，需要从服务应用层面提供 99.9% 的高可用管理。可存储到HDFS。
3. 支持流式数据，文件，结构化数据库数据采集，并支持分布式调试算法，支持各大品牌数据库如：GP、Druid、Mysql、Postgresql和Oracle等数据源
4. 并可以支持 PB 级别以上的存储容量。同时，基于数据网关，可以实现支持数据同步到本地数据中心到本地
5. 支持PB 级别的数据汇总运算，需要提供支持并行任务的数据仓库。同样，并行数据仓库也需要提供从服务应用层面支持 99.9% 的高可用性管理 ，可以支持通过 128 个并发查询释放数据的力量
6. 可以支持本地cache，在进行mapreduce 时候，文件数据可以存一个副本到本地数据中心
7. 在本地/云提供群集部署。
8. 云端，提供按需容量、按需付费的定价模型。
9. 云端，可用门户进行管理 。迅速实现与部署，缩短项目周期。
10. 支持并行ETL处理，包括计算和抽取数据，缩短ETL过程时间。
11. 支持分布式计算和存储，可使用Spark语言
12. 支持队列推送方式的流式计算如Kafka、Flume、ZeroMQ
13. 端到端BI技术，支持主流BI产品的链接，与Office 紧密结合ÿ