大数据平台简介

大数据平台

也可叫大数据开发平台（不代表只支持大数据相关业务的代码开发，也需要提供一些从字面上看起来不那么像“开发”的功能，比如各种数据查询、展示、权限管理、集群管控等服务），用于支撑大数据相关业务开发的平台。其只加工和存储诗句，并不生产数据

组成部分

数据采集、传输、清洗、同步等服务
 

常见的数据源类型

（1）关系行数据库类：比如MySQL、Oracle、SQLServer等

（2）文件类：比如log、CSV、Excel

（3）消息队列类：比如kafka和各种MQ

（4）各种大数据相关组件：比如HDFS、Hive、HBase、ES、Cassandra

（5）其他网络接口或服务类：比如FTP、HTTP、Socket等

通用的数据同步解决方案

（1）Sqoop

（2）DataX

（3）Heka

数据交换服务管控平台

需要管理数据交换作业的任务配置信息

数据可视化平台（即报表系统，例如帆软、易知微、葡萄城）

传统报表多半以表格或有限图例静态的展示底层的数据快照，也灭有太多的用户交互能力，而数据可视化平台拥有良好的交互能力和展示能力

BI：商业智能

指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

大数据安全与权限管控

通过适度的安全管理手段，降低业务误操作的风险，结合业务流程和系统交互设计，实现业务的合理分离，提高工作效率。

（1）适度安全，降低人为风险：防止误操作

（2）隔离环境，提高工作效率：不同用户不同视角

（3）权责明晰，规范业务流程：权限与责任分明

数据质量管理（即数据治理）

是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。

过程：收集数据->数据清洗->转换->融合->展示