大数据平台的构建思路参考

大数据平台是什么

大数据平台主要解决当前面临的问题

• 如何管理一个大的单体集群，如何管理数据，如何保障数据安全管理
• 如何将数据展现给用户

大数据平台的能力

• 数据存储和构建数据仓库
  • 大数据平台所面临的数据种类多种多样，包括结构化和非结构化数据
  • 对不同类型的数据提供对应的存储模型和查询方式

存储之后如何使用数据

快速计算的方式有:

• 离线批处理
• 实时流计算
• 机器学习预测分析

大数据平台数据接入的能力！

 - 数据来源多，类型杂

保证数据安全的能力！

不仅需要考虑平台本身的安全，更重要的是数据的安全问题
对数据进行隔离和访问授权，对用户进行访问控制

数据管理和数据治理

- 随处可见的数据不统一

数据查询和可视化的能力！

优秀的数据查询引擎可以帮助我们的数据平台接纳更多的用户
数据的核心价值在于通过对历史数据的分析，展现数据的趋势。BI可视化是面向老板的需求。

集群的监控和管理能力！

大数据平台面对很多服务器以及部署的很多大数据组件和服务
对集群进行完善的管理和监控可以提高数据平台的稳定性。

为什么需要建设大数据平台