(8) 基于Flink的互联网直播平台日志分析项目实战

基于Flink的互联网直播平台日志分析

项目功能需求

1. 接入的数据类型就是日志

   离线：Flume ==> HDFS

   实时：Kafka ==> 流处理引擎 ==> ES ==> Kibana

2. 项目功能

• 统计一分钟内每个域名访问产生的流量

  Flink接收Kafka的进行处理

• 统计一分钟内每个用户产生的流量

  域名和用户是有对应关系的

  Flink接收Kafka的进行 + Flink读取域名和用户的配置数据进行处理

3. 数据源

Mock 产生: 务必要掌握的

• 数据敏感
• 多团队协作，你依赖了其他团队提供的服务或者接口

4. 项目架构

mock数据

kafka生产者代码开发

通过mock的方式往Kafka的broker里面发送数据

Java/Scala Code: producer

kafka 控制台消费者: consumer

a Code: producer

kafka 控制台消费者: consumer