基于Flink的电影数据实时统计平台(二)：项目结构

一、开发环境

  此项目的开发环境如下：

• macOS Big Sur（不影响）
• IntelliJ IDEA
• jdk 1.8.0_271
• Maven 3.6.1
• Flink 1.12.2
• Kafka 2.0.0
• MySQL 5.1.49
• Vue Cli 4.5.12
• Vue 2.5.2
• Element-UI 2.15.1

二、相关技术

  项目以Vue + Spring Boot的形式实现前后端的分离。同时，前端使用Element-UI + Echarts + Vue实现页面的绘制，使用Vue router实现页面的跳转，使用Ajax实现数据的请求与动态修改。后端通过Maven进行包的管理，并整体使用Spring Boot框架进行搭建。将Kafka作为数据源，使用Flink进行流数据的实时处理，并通过JDBC将结果存入MySQL数据库。然后项目通过间隔性地访问数据库实现数据的动态查询。图示如下：

三、系统架构

  项目的可运行程序主要分为三个部分：Vue、Spring Boot项目Client以及Flink项目Server。Vue项目作为分离的前端与用户进行交互，并且可以向Client发送和请求数据。Client通过Controller与Web进行交互，将Web发送的数据发送到Kafka，并在MySQL中查询Web所请求的数据。Server以流的形式从Kafka接收数据，并通过Flink API进行实时的计算并将计算结果存入MySQL的不同表中供Client查询。图示如下：

四、分包解释

  项目主目录cn.edu.neu.movie下除了三个入口类还分有五个包：

• bean：数据库查询数据的封装类
  • web：只供前端使用的数据封装类
• controller：用于连接前端并与前端交互的控制器类
• service：业务类
  • client：Client程序的相关业务接口
    • impl：Client程序相关业务的具体实现
  • server：Server程序的相关业务实现
  • sim：用于模拟生产评分数据相关业务实现
• dao：数据库的交互类
• util：工具类

五、相关博客

• 基于Flink的电影数据实时统计平台(一)：项目展示
• 基于Flink的电影数据实时统计平台(三)：前端构建
• 基于Flink的电影数据实时统计平台(四)：后端项目构建与数据准备
• 基于Flink的电影数据实时统计平台(五)：流计算业务实现
• 基于Flink的电影数据实时统计平台(六)：后端业务实现