Flink SQL Client综合实战,字节跳动高工面试

本文介绍了使用Flink SQL Client进行Kafka表创建、窗口统计、数据写入Elasticsearch以及联表操作的实战过程,详细阐述了每个步骤的配置和SQL命令,适合后端开发者学习。
摘要由CSDN通过智能技术生成

| 时间戳 | 行为发生的时间戳 |

| 时间字符串 | 根据时间戳字段生成的时间字符串 |

jar准备

实战过程中要用到下面这五个jar文件:

  1. flink-jdbc_2.11-1.10.0.jar

  2. flink-json-1.10.0.jar

  3. flink-sql-connector-elasticsearch6_2.11-1.10.0.jar

  4. flink-sql-connector-kafka_2.11-1.10.0.jar

  5. mysql-connector-java-5.1.48.jar

我已将这些文件打包上传到GitHub,下载地址:https://raw.githubusercontent.com/zq2599/blog_download_files/master/files/sql_lib.zip

请在flink安装目录下新建文件夹sql_lib,然后将这五个jar文件放进去;

Elasticsearch准备

如果您装了docker和docker-compose,那么下面的命令可以快速部署elasticsearch和head工具:

wget https://raw.githubusercontent.com/zq2599/blog_demos/master/elasticsearch_docker_compose/docker-compose.yml && \

docker-compose up -d

准备完毕,开始操作吧;

DDL创建Kafka表

  1. 进入flink目录,启动flink:bin/start-cluster.sh

  2. 启动Flink SQL Client:bin/sql-client.sh embedded -l sql_lib

  3. 启动成功显示如下:

在这里插入图片描述

  1. 执行以下命令即可创建kafka表,请按照自己的信息调整参数:

CREATE TABLE user_behavior (<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值