一、企业大数据平台架构
1、企业流行大数据平台架构
- 数据采集
我们有多个数据源,涉及在不同地域、不同网络,因此数据汇聚是个难题,我们主要采集的数据信息有,媒体发送过来的数据、移动设备app数据、爬虫系统获取的数据、自营销系统数据。
数据采集推荐采用Filebeat,Filebeat是一个开源的文本日志收集器,采用go语言开发,它重构了logstash采集器源码,安装在日志产生服务器上来监视日志目录或者特定的日志文件,并把他们发送到logstash、elasticsearch以及kafka上。
- 数据传输
数据分散分别在多个数据中心,要将产生的数据实时传送到自建数据中心,我们使用了Filebeat+kafka架构,并采用kafka mirrormaker做数据的同步。
- 数据分析
数据分析分我们主要有两大部分:流式数据和离线数据。
对处理时间敏感的计算,例如实时报表,监控预警、大屏展示等功能采用流式计算。我们使用了Storm和flink两种流式分析工具。
对用户行为数据、设备号数据,点击、曝光等数据,我们使用离线计算来处理,因为这种数据量大、逻辑复杂,需要较长的运行时间。以上所有数据最终都存储在HDFS中。
- 数据输出与展示
通