2021-03-13 大数据课程笔记 day52

最新推荐文章于 2023-12-27 13:45:41 发布
最新推荐文章于 2023-12-27 13:45:41 发布
阅读量1.3k 收藏 10
点赞数
分类专栏： 西行日记 文章标签： 大数据 数据分析 scala 数据库 kafka
I love 段奥娟
本文链接：https://blog.csdn.net/qq_44745905/article/details/114739972
版权
本文介绍了基于Flink构建的城市交通监控平台，包括项目整体介绍、实时卡口监控分析、智能实时报警和实时车辆布控。项目通过实时处理卡口数据，实现了车辆超速监控、卡口拥堵情况监控、最通畅卡口TopN统计等功能，并通过智能算法进行实时套牌和危险驾驶分析。此外，还涉及到了实时车辆布控和车辆轨迹跟踪，以及如何使用布隆过滤器优化数据处理。
摘要由CSDN通过智能技术生成

时间煮雨
@R星校长

基于Flink的城市交通监控平台

1.1 项目整体介绍

  近几年来，随着国内经济的快速发展，高速公路建设步伐不断加快，全国机动车辆、驾驶员数量迅速增长，交通管理工作日益繁重，压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全国各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“便携式测速”、“视频监控”、“预警系统”、“能见度天气监测系统”、“LED信息发布系统”等交通监控系统设备。尽管修建了大量的交通设施，增加了诸多前端监控设备，但交通拥挤阻塞、交通安全状况仍然十分严重。由于道路上交通监测设备种类和生产厂家繁多，目前还没有一个统一的数据采集和交换标准，无法对所有的设备、数据进行统一、高效的管理和应用，造成各种设备和管理软件混用的局面，给使用单位带来了很多不便，使得国家大量的基础建设投资未达到预期的效果。各交警支队的设备大都采用本地的数据库管理，交警总队无法看到各支队的监测设备及监测信息，严重影响对全省交通监测的宏观管理；目前网络状况为设备专网、互联网、公安网并存的复杂情况，需要充分考虑公安网的安全性，同时要保证数据的集中式管理；监控数据需要与“六合一”平台、全国机动车稽查布控系统等的数据对接，迫切需要一个全盘考虑面向交警交通行业的智慧交通管控指挥平台系统。
  智慧交通管控指挥平台建成后，达到了以下效果目标：
 交通监视和疏导：通过系统将监视区域内的现场图像传回指挥中心，使管理人员直接掌握车辆排队、堵塞、信号灯等交通状况，及时调整信号配时或通过其他手段来疏导交通，改变交通流的分布，以达到缓解交通堵塞的目的。

  • 交通警卫：通过突发事件的跟踪，提高处置突发事件的能力。
  • 建立公路事故、事件预警系统的指标体系及多类分析预警模型，实现对高速公路通行环境、交通运输对象、交通运输行为的综合分析和预警，建立真正意义上的分析及预警体系。
  • 及时准确地掌握所监视路口、路段周围的车辆、行人的流量、交通治安情况等，为指挥人员提供迅速直观的信息从而对交通事故和交通堵塞做出准确判断并及时响应。
  • 收集、处理各类公路网动静态交通安全信息，分析研判交通安全态势和事故隐患，并进行可视化展示和预警提示。
  • 提供接口与其他平台信息共享和关联应用，基于各类动静态信息的大数据分析处理，实现交通违法信息的互联互通、源头监管等功能。
1.1.1 项目架构

  本项目是与公安交通管理综合应用平台、机动车缉查布控系统等对接的，并且基于交通部门现有的数据平台上，进行的数据实时分析项目。在这里插入图片描述
 1) 相关概念

  • 卡口：道路上用于监控的某个点，可能是十字路口，也可能是高速出口等。

在这里插入图片描述

  • 通道：每个卡口上有多个摄像头，每个摄像头有拍摄的方向。这些摄像头也叫通道。
  • “违法王“车辆： 该车辆违法未处理超过50次以上的车。

在这里插入图片描述

  • 摄像头拍照识别：
    • 一次拍照识别：经过卡口摄像头进行的识别，识别对象的车辆号牌信息、车辆号牌颜色信息等，基于车辆号牌和车辆颜色信息，能够实现基本的违法行为辨识、车辆黑白名单比对报警等功能。
    • 二次拍照识别：可以通过时间差和距离自动计算出车辆的速度。
1.1.2 项目数据流在这里插入图片描述

  实时处理流程如下：
http请求 -->数据采集接口–>数据目录–> flume监控目录[监控的目录下的文件是按照日期分的] -->Kafka -->Flink分析数据 --> Mysql[实时监控数据保存]

1.1.3 项目主要模块

  本项目的主要模块有三个方向：

 1) 实时卡口监控分析：

  依托卡口云管控平台达到降事故、保畅通、服务决策、引领实战的目的，最
大限度指导交通管理工作。丰富了办案手段，提高了办案效率、节省警力资源，最终达
到牵引警务模式的变革。
  利用摄像头拍摄的车辆数据来分析每个卡口车辆超速监控、卡口拥堵情况监控、每个区域卡口车流量TopN统计。

 2) 实时智能报警：

  该模块主要针对路口一些无法直接用单一摄像头拍摄违章的车辆，通过海量数据分析并实时智能报警。
  在一时间段内同时在 2 个区域出现的车辆记录则为可能为套牌车。这个模块包括：实时套牌分析，实时危险驾驶车辆分析。

 3) 智能车辆布控：

  该模块主要从整体上实时监控整个城市的车辆情况，并且对整个城市中出现“违法王”的车辆进行布控。
  主要功能包括：单一车辆轨迹跟踪布控，“违法王”轨迹跟踪布控，实时车辆分布分析，实时外地车分布分析。在这里插入图片描述

1.2 项目数据字典

1.2.1 卡口车辆采集数据

  卡口数据通过Flume采集过来之后存入Kafka中，其中数据的格式为：

(
 `action_time` long  --摄像头拍摄时间戳，精确到秒, 
 `monitor_id` string  --卡口号, 
 `camera_id` string   --摄像头编号, 
 `car` string  --车牌号码, 
 `speed` double  --通过卡扣的速度, 
 `road_id` string  --道路id, 
 `area_id` string  --区域id, 
)

  其中每个字段之间使用逗号隔开。
  区域ID代表：一个城市的行政区域。
  摄像头编号：一个卡口往往会有多个摄像头，每个摄像头都有一个唯一编号。
  道路ID：城市中每一条道路都有名字，比如：蔡锷路。交通部门会给蔡锷路一个唯一编号。

1.2.2 城市交通管理数据表

  Mysql数据库中有两张表是由城市交通管理平台提供的，本项目需要读取这两张表的数据来进行分析计算。

 1) 城市区域表： t_area_info

DROP TABLE IF EXISTS `t_area_info`;
CREATE TABLE `area_info` (
  `area_id` varchar(255) DEFAULT NULL,
  `area_name` varchar(255) DEFAULT NULL
)
--导入数据
INSERT INTO `t_area_info` VALUES ('01', '海淀区');
INSERT INTO `t_area_info` VALUES ('02', '昌平区');
INSERT INTO `t_area_info` VALUES ('03', '朝阳区');
INSERT INTO `t_area_info` VALUES ('04', '顺义区');
INSERT INTO `t_area_info` VALUES ('05', '西城区');
INSERT INTO `t_area_info` VALUES ('06', '东城区');
INSERT INTO `t_area_info` VALUES ('07', '大兴区');
INSERT INTO `t_area_info` VALUES ('08', '石景山');

 2) 城市“违法”车辆列表：

  城市“违法”车辆，一般是指需要进行实时布控的违法车辆。

DROP TABLE IF EXISTS `t_violation_list`;
CREATE TABLE `t_violation_list` (
	`id` int(11) NOT NULL AUTO_INCREMENT,
	`car` varchar(255) DEFAULT NULL,
	`violation` varchar(1000) DEFAULT NULL,
	`create_time` bigint(20) DEFAULT NULL,
	`detail` varchar(1000) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 3) 城市卡口限速信息表：

  城市中有些卡口有限制设置，一般超过当前限速的10%要扣分。

DROP TABLE IF EXISTS `t_monitor_info`;
CREATE TABLE `t_monitor_info` (
  `area_id` varchar(255) DEFAULT NULL,
  `road_id` varchar(255) NOT NULL,
  `monitor_id` varchar(255) NOT NULL,
  `speed_limit` int(11) DEFAULT NULL,
  PRIMARY KEY (`area_id`,`road_id`,`monitor_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
--导入数据
INSERT INTO `t_monitor_info` VALUES ('01','10','0000','60');
INSERT INTO `t_monitor_info` VALUES ('02','11','0001','60');
INSERT INTO `t_monitor_info` VALUES ('01','12','0002','80');
INSERT INTO `t_monitor_info` VALUES ('03','13','0003','100');
1.2.3 车辆轨迹数据表

  在智能车辆布控模块中，需要保存一些车辆的实时行驶轨迹，为了方便其他部门和项目方便查询获取，我们在Mysql数据库设计一张车辆实时轨迹表。如果数据量太多，需要设置在HBase中。

DROP TABLE IF EXISTS `t_track_info`;
CREATE TABLE `t_track_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `car` varchar(255) DEFAULT NULL,
  `action_time` bigint(20) DEFAULT NULL,
  `monitor_id` varchar(255) DEFAULT NULL,
  `road_id` varchar(255) DEFAULT NULL,
  `area_id` varchar(255) DEFAULT NULL,
  `speed` double DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

1.3 实时卡口监控分析

首先要实现的是实时卡口监控分析，由于前面课程项目中已经讲解了数据的ETL，本项目我们省略数据采集等ETL操作。我们将读取Kafka中的数据集来进行分析。
项目主体用Scala编写，采用IDEA作为开发环境进行项目编写，采用maven作为项目构建和管理工具。首先我们需要搭建项目框架。

1.3.1 创建 Maven 项目

  打开IDEA，创建一个maven项目，我们整个项目需要的工具的不同版本可能会对程序运行造成影响，所以应该在porm.xml文件的最上面声明所有工具的版本信息。
  在pom.xml中加入以下配置：

<properties>
        <flink.version>1.9.1</flink.version>
        <scala.binary.version>2.11</scala.binary.version>
        <kafka.version>0.11.0.0</kafka.version>
</properties>

 1) 添加项目依赖

  对于整个项目而言，所有模块都会用到flink相关的组件，添加Flink相关组件依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
   </dependency>
   <dependency>
        <groupId>org.apache.flink</groupId>       <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
   </dependency>
   <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_${scala.binary.version}</artifactId>
        <version>${kafka.version}</version>
   </dependency>
   <dependency>
       <groupId>org.apache.flink</groupId>          <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
      <version>${flink.version}</version>
   </dependency>
   <dependency>
       <groupId>redis.clients</groupId>
       <artifactId>jedis</artifactId>
       <version>2.8.1</version>
   </dependency>
   <dependency>
       <groupId>org.apache.flink</groupId>
        <artifactId>flink-cep-scala_${scala.binary.version}</artifactId>
       <version>${flink.version}</version>
   </dependency>
</dependencies>

2) 添加Scala和打包插件

<build>
<plugins>
    <!-- 该插件用于将Scala代码编译成class文件 -->
    <plugin>
        <groupId>net.alchim31.maven</groupId>
        <artifactId>scala-maven-plugin</artifactId>
        <version>3.4.6</version>
        <executions>
            <execution>
                <!-- 声明绑定到maven的compile阶段 -->
                <goals>
                    <goal>testCompile</goal>
                </goals>
            </execution>
        </executions>
    </plugin>

    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-assembly-plugin</artifactId>
        <version>3.0.0</version>
        <configuration>
            <descriptorRefs>
                <descriptorRef>
                    jar-with-dependencies
                </descriptorRef>
            </descriptorRefs>
        </configuration>
        <executions>
            <execution>
                <id>make-assembly</id>
                <phase>package</phase>
                <goals>
                    <goal>single</goal>
                </goals>
            </execution>
        </executions>
    </plugin>
</plugins>
</build>
1.3.2 准备数据

  由于在前面的课程中已经学过数据的采集和ETL，本项目不再赘述，现在我们直接随机生成数据到文件中（方便测试），同时也写入Kafka。
  项目中模拟车辆速度数据和车辆经过卡扣个数使用到了高斯分布，高斯分布就是正态分布。“正态分布”(Normal Distribution)可以描述所有常见的事物和现象：正常人群的身高、体重、考试成绩、家庭收入等等。这里的描述是什么意思呢？就是说这些指标背后的数据都会呈现一种中间密集、两边稀疏的特征。以身高为例，服从正态分布意味着大部分人的身高都会在人群的平均身高上下波动，特别矮和特别高的都比较少见，正态分布非常常见。在这里插入图片描述
  基于以上所以需要在pom.xml中导入高斯分布需要的依赖包：

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-math3</artifactId>
    <version>3.6.1</version>
</dependency>

  生成高斯标准分布的代码如下：

//获取随机数生成器
val generator: JDKRandomGenerator = new JDKRandomGenerator()
//随机生成高斯分布的数据
val grg: GaussianRandomGenerator = new GaussianRandomGenerator(generator)
//获取标准正态分布的数据
println(s"随机生成数据为：${grg.nextNormalizedDouble()}")

  模拟生成数据的代码如下：

/**
  * 模拟生成数据,这里将数据生产到Kafka中，同时生成到文件中
  */
object GeneratorData {
   
  def main(args: Array[String]): Unit = {
   
    //创建文件流
    val pw = new PrintWriter("./data/traffic_data")

    //创建Kafka 连接properties
    val props = new Properties()
    props.setProperty("bootstrap.servers","mynode1:9092,mynode2:9092,mynode3:9092")
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer")
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer")

    val random = new Random()

    //创建Kafka produer
    val producer = new KafkaProducer[String,String](props)

    //车牌号使用的地区
    val locations = Array[String]("京","津","京","鲁","京","京","冀","京","京","粤","京","京")

    //模拟车辆个数，这里假设每日有30万辆车信息
    for(i <- 1 to 30000){
   
      //模拟每辆车的车牌号,"%05d".format(100000) %05d，d代表数字，5d代表数字长度为5位，不足位数前面补0 。 例如：京A88888
      val car =locations(random.nextInt(12))+(65+random.nextInt(26)).toChar+"%05d".format(random.nextInt(100000))

      //模拟车辆经过的卡扣数,使用高斯分布，假设正常每辆车每日经过卡扣有30个
      val generator = new GaussianRandomGenerator(new JDKRandomGenerator())
      val monitorThreshold: Int = 1+(generator.nextNormalizedDouble()*30).abs.toInt //generator.nextNormalizedDouble() 处于-1 ~ 1 之间
      //模拟拍摄时间
      val day = DateUtils.getTodayDate()
      var hour = DateUtils.getHour()
      var flag = 0

      for(j <- 1 to monitorThreshold){
   
        flag+=1

        //模拟monitor_id ,4位长度
        val monitorId = "%04d".format(random.nextInt(9))

        //模拟camear_id ,5为长度
        val camearId = "%05d".format(random.nextInt(100000))

        //模拟road_id ,2为长度
        val roadId = "%02d".format(random.nextInt(50))

        //模拟area_id ,2为长度
        val areaId = "%02d".format(random.nextInt(8))

        //模拟速度 ，使用高斯分布,速度大多位于90 左右
        val speed = "%.1f".format(60 + (generator.nextNormalizedDouble()*30).abs)

        //模拟action_time
        if(flag % 30 == 0 && flag != 0 ){
   
          hour = (hour.toInt+1).toString
        }
        val currentTime = day+" "+hour+":"+DateUtils.getMinutesOrSeconds()+":"+DateUtils.getMinutesOrSeconds()
        //获取action_time 时间戳
        val actionTime: Long = DateUtils.getTimeStamp(currentTime)


        var oneInfo = s"$actionTime,$monitorId,$camearId,$car,$speed,$roadId,$areaId"
        println(s"oneInfo = $oneInfo")

        //写入文件：
        pw.write(oneInfo)
        pw.println()

        //写入kafka:
        producer.send(new ProducerRecord[String,String]("traffic-topic",oneInfo))
      }
    }

    pw.flush()
    pw.close()
    producer.close()
  }
}
1.3.3 实时车辆超速监控

  在城市交通管理数据库中，存储了每个卡口的限速信息，但是不是所有卡口都有限速信息，其中有一些卡口有限制。Flink中有广播状态流,JobManger统一管理，TaskManger中正在运行的Task不可以修改这个广播状态。只能定时更新（自定义Source）。
  我们通过实时计算，需要把所有超速超过10%的车辆找出来，并写入关系型数据库中。超速结果表如下：

DROP TABLE IF EXISTS `t_speeding_info`;
CREATE TABLE `t_speeding_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
最低0.47元/天 解锁文章
Rich Dad
关注
专栏目录
2021-03-17~18 大数据课程笔记 day56day57
qq_44745905的博客
03-18 768
@R星校长 1 基础概念和Kylin简介 1.1 OLTP与OLAP   数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。 1.1.1 OLTP   OLTP(On-Line Transaction Processing):联机事务处理，OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。主要用于业务类系统，主要供基层人员使.
基于flink的实时流计算web平台.zip
06-14
基于flink框架写的大数据系统， 框架：flink 适宜人群：可以作为计算机专业的课程设计或者是毕业设计
基于Flink的大数据实施城市交通监控平台.zip
04-28
基于Flink的大数据实施城市交通监控平台.zip 大学生课程设计 基于flink的课程设计 自己大二写的课程设计
Flink项目实战篇 基于Flink的城市交通监控平台（上）
moments的博客
12-27 2692
近几年来，随着国内经济的快速发展，高速公路建设步伐不断加快，全国机动车辆、驾驶员数量迅速增长，交通管理工作日益繁重，压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全国各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“便携式测速”、“视频监控”、“预警系统”、“能见度天气监测系统”、“LED信息发布系统”等交通监控系统设备。
Flink项目实战篇 基于Flink的城市交通监控平台（下）
最新发布
moments的博客
12-27 2312
Flink项目实战篇 基于Flink的城市交通监控平台（上）Flink项目实战篇 基于Flink的城市交通监控平台（下）
flink道路监控系统实战项目
05-07
共三份文件： 1. 大数据技术之Flink-修改版.doc 2. 基于Flink的城市交通实时监控平台.doc 3. 道路监控系统实战代码
2021-03-06 大数据课程笔记 day45
qq_44745905的博客
03-06 1641
@R星校长 机器学习05【机器学习】 主要内容 模型评估方式 理解协同过滤思想 理解推荐系统架构 理解推荐系统流程 学习目标 第一节 模型评估 1. 混淆矩阵： 对以上混淆矩阵的解释： P：样本数据中的正例数。 N：样本数据中的负例数。 Y：通过模型预测出来的正例数。 N：通过模型预测出来的负例数。 True Positives:真阳性，表示实际是正样本预测成正样本的样本数。 Falese Positives:假阳性，表示实际是负样本预测成正样本的样本数。 False Negatives:假阴性，表示.
2021-02-13 大数据课程笔记 day24
qq_44745905的博客
02-13 1013
@R星校长 Lucene 与 ElasticSearch 概述 Lucene 全文检索 Lucene 概述 Lucene 是一个全文搜索框架，而不是应用产品。因此它并不像http://www.baidu.com/ 或者 google Desktop 那么拿来就能用，它只是提供了一种工具让你能实现这些产品。 lucene 能做什么 ： 本质就是给搜索内容定位 要回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你你.
2021-03-01 大数据课程笔记 day40
qq_44745905的博客
03-01 330
@R星校长 Spark优化【Spark优化内容】 主要内容 Spark资源优化 Spark并行度优化 Spark代码优化 内存调优 Sparkshuffle优化 堆外内存优化 解决数据倾斜 第一节 资源优化   1) .搭建Spark集群的时候要给Spark集群足够的资源（core，memory）   在spark安装包的conf下spark-env.sh    SPARK_WORKER_CORES    SPARK_WORKER_MEMORY    SPARK_WORKER_INSTANCE   2.
Flink大数据项目实战
06-12
本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。
大数据存储项目-基于Flink的高速公路ETC入深圳数据实时分析平台
a284365的博客
12-18 3138
大数据项目总体流程分为以下4个方面： 数据采集，数据存储与管理，数据处理与分析，数据解释与可视化。 数据源 下载 高速公路ETC入深圳数据，数据量：178396条 https://opendata.sz.gov.cn/data/dataSet/toDataDetails/29200_00403621 要求 （1）每秒产生50+条数据，可以采用网络压力测试工具产生多点并发的高速数据流https://blog.csdn.net/moonpure/article/details/72674374，例如JMeter
【基于Flink的城市交通实时监控平台】需求三：实时车辆分布情况-滚动窗口-JSON解析为对象
qq_31412425的博客
06-19 338
实时车辆分布情况，是指在一段时间内（比如：10分钟）整个城市中每个区分布多少量车。这里要注意车辆的去重，因为在10分钟内一定会有很多的车，经过不同的卡口。这些车牌相同的车，我们只统计一次。其实就是根据车牌号去重。通过Kafka发送测试数据。查询MySQL表中结果。
【基于Flink的城市交通实时监控平台】需求四：车辆违法路径跟踪-使用FlinkSQL在Dlink写入HBase
qq_31412425的博客
06-23 434
通过Kafka发送模拟实时车辆JSON信息给Flink接收，FlinkSQL将实时车辆JSON信息与表中已经捕捉到的违规违章车辆做连接对比，选择出通过当前路段的违章记录车辆，将其存入HBase中。本次需求四案例，将基于当前模拟了两辆车在表中,稍后启动Kafka Topic-car时，只有在该表中的车，会被记录到HBase。
【基于Flink的城市交通实时监控平台】需求一：卡口车辆超速情况检测
qq_31412425的博客
06-18 743
从kafka的topic-car中读取卡口数据，将超速车辆写入mysql的t_monitor_info表，当通过卡口的车速超过60就认定为超速。道路ID：城市中每一条道路都有名字，比如：航海路。交通部门会给航海路一个唯一编号。例如：1682219447,0001,1,豫DF09991,34.5,01,20。摄像头编号：一个卡口往往会有多个摄像头，每个摄像头都有一个唯一编号。以上分析来自ChatGPT3.5，由我整理完善。java bean的生成使用了Idea插件。区域ID代表：一个城市的行政区域。
Flink综合案例实战
xqzllrt的博客
01-14 241
需求：公司开发⼀个监控告警平台（类似nginx访问⽇志） 每5秒统计过去1分钟可以统计各个接⼝的访问量
educoder-警务大数据之大屏幕实时数据监控
qq_48664727的博客
06-12 1434
头歌警务大数据之大屏幕实时数据监控代码答案
Flink应用——公交疫情实时流监控
蒋含竹的博客
07-27 902
文章目录Flink应用——公交疫情实时流监控前言版本信息Mavan 依赖数据源（刷卡事件信息 + 公交车信息）流数据源Bean对象与数据获取公交车辆最新的状态信息（开窗函数）刷卡事件信息关联车辆状态信息（Join）后续，下游操作 Flink应用——公交疫情实时流监控 前言 此部分是Flink的场景应用示例，本篇主要结合近期的疫情热点做应用 需要注意的是，后续的代码主要以 版本信息 产品 版本 Flink 1.9.1 Java 1.8.0_231 Scala 2.11.12 M
mysql和flink_11-flink读写MySQL
weixin_42396285的博客
02-18 439
一、读MySQL1、通过JDBC方式定义MySQLDataSource类1.1首先加入JDBC依赖1.2定义JDBCInputFormat1.3获取Row类型的DataStreamSource1.4转化DataStream为DataStreampublic class MysqlDataSource {private static final Logger log = LoggerFactory....
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值