九、Flink入门--SQL实战

最新推荐文章于 2024-08-19 10:39:56 发布

灰二和杉菜

最新推荐文章于 2024-08-19 10:39:56 发布

阅读量3.3k

点赞数 3

分类专栏： Apache Flink 文章标签： Flink Apache Flink SQL实战 Kafka ES

本文链接：https://blog.csdn.net/qq475781638/article/details/90518289

版权

本文介绍了Apache Flink的SQL实战，包括环境准备、实战演示五大需求：筛选纽约行车记录、计算乘客数量、区域车辆计数、数据写入Kafka及ES。详细阐述了如何使用UDF函数以及定义source和sink表，帮助理解Flink的实时数据处理能力。

摘要由CSDN通过智能技术生成

1.环境准备

下载代码并安装环境，前提是准备好Docker环境。

git clone git@github.com:ververica/sql-training.git
cd sql-training
docker-compose up -d

会先下载以来镜像，时间比较慢，耐心等待。
接下来进入sql-client

docker-compose exec sql-client ./sql-client.sh

2.实战演示

表定义，Rides表，类型是source表，更新模式为追加。

tables:
   - name: Rides #表名
    type: source #表类型
    update-mode: append #更新模式
    schema:
    - name: rideId #路线ID
      type: LONG
    - name: taxiId #出租车ID
      type: LONG
    - name: isStart #是否出发
      type: BOOLEAN
    - name: lon #经度
      type: FLOAT
    - name: lat #纬度
      type: FLOAT
    - name: rideTime #时间
      type: TIMESTAMP
      rowtime:
        timestamps:
          type: "from-field"
          from: "eventTime"
        watermarks:
          type: "periodic-bounded"
          delay: "6000