Flink SQL Client综合实战，java高级开发面试视频

2401_84412648

于 2024-04-20 16:06:27 发布

阅读量396

点赞数 4

分类专栏： 2024年程序员学习文章标签： flink sql java

本文链接：https://blog.csdn.net/2401_84412648/article/details/138002256

版权

2024年程序员学习专栏收录该内容

37 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

| 商品类目ID | 整数类型，序列化后的商品所属类目ID |

| 行为类型 | 字符串，枚举类型，包括(‘pv’, ‘buy’, ‘cart’, ‘fav’) |

| 时间戳 | 行为发生的时间戳 |

| 时间字符串 | 根据时间戳字段生成的时间字符串 |

jar准备

实战过程中要用到下面这五个jar文件：

flink-jdbc_2.11-1.10.0.jar
flink-json-1.10.0.jar
flink-sql-connector-elasticsearch6_2.11-1.10.0.jar
flink-sql-connector-kafka_2.11-1.10.0.jar
mysql-connector-java-5.1.48.jar

我已将这些文件打包上传到GitHub，下载地址：https://raw.githubusercontent.com/zq2599/blog_download_files/master/files/sql_lib.zip

请在flink安装目录下新建文件夹sql_lib，然后将这五个jar文件放进去；

Elasticsearch准备

如果您装了docker和docker-compose，那么下面的命令可以快速部署elasticsearch和head工具：

wget https://raw.githubusercontent.com/zq2599/blog_demos/master/elasticsearch_docker_compose/docker-compose.yml && \

docker-compose up -d

准备完毕，开始操作吧；

DDL创建Kafka表

进入flink目录，启动flink：bin/start-cluster.sh
启动Flink SQL Client：bin/sql-client.sh embedded -l sql_lib
启动成功显示如下：

在这里插入图片描述

执行以下命令即可创建kafka表，请按照自己的信息调整参数：

CREATE TABLE user_behavior (

user_id BIGINT,

item_id BIGINT,

category_id BIGINT,

behavior STRING,

ts TIMESTAMP(3),

proctime as PROCTIME(), – 处理时间列

WATERMARK FOR ts as ts - INTERVAL ‘5’ SECOND – 在ts上定义watermark，ts成为事件时间列

) WITH (

‘connector.type’ = ‘kafka’, – kafka connector

‘connector.version’ = ‘universal’, – universal 支持 0.11 以上的版本

‘connector.topic’ = ‘user_behavior’, – kafka topic

‘connector.startup-mode’ = ‘earliest-offset’, – 从起始 offset 开始读取

‘connector.properties.zookeeper.connect’ = ‘192.168.50.43:2181’, – zk 地址

‘connector.properties.bootstrap.servers’ = ‘192.168.50.43:9092’, – broker 地址

‘format.type’ = ‘json’ – 数据源格式为 json

);

执行SELECT * FROM user_behavior;看看原始数据，如果消息正常应该和下图类似：

窗口统计

下面的SQL是以每十分钟为窗口，统计每个窗口内的总浏览数，TUMBLE_START返回的数据格式是timestamp，这里再调用DATE_FORMAT函数将其格式化成了字符串：

SELECT DATE_FORMAT(TUMBLE_START(ts, INTERVAL ‘10’ MINUTE), ‘yyyy-MM-dd hh:mm:ss’),

DATE_FORMAT(TUMBLE_END(ts, INTERVAL ‘10’ MINUTE), ‘yyyy-MM-dd hh:mm:ss’),

COUNT(*)

FROM user_behavior

WHERE behavior = ‘pv’

GROUP BY TUMBLE(ts, INTERVAL ‘10’ MINUTE);

得到数据如下所示：

在这里插入图片描述

数据写入ElasticSearch

确保elasticsearch已部署好；
执行以下语句即可创建es表，请按照您自己的es信息调整下面的参数：

CREATE TABLE pv_per_minute (

start_time STRING,

end_time STRING,

pv_cnt BIGINT

) WITH (

‘connector.type’ = ‘elasticsearch’, – 类型

‘connector.version’ = ‘6’, – elasticsearch版本

‘connector.hosts’ = ‘http://192.168.133.173:9200’, – elasticsearch地址

‘connector.index’ = ‘pv_per_minute’, – 索引名，相当于数据库表名

‘connector.document-type’ = ‘user_behavior’, – type，相当于数据库库名

‘connector.bulk-flush.max-actions’ = ‘1’, – 每条数据都刷新

‘format.type’ = ‘json’, – 输出数据格式json

‘update-mode’ = ‘append’

);

执行以下语句，就会将每分钟的pv总数写入es的pv_per_minute索引：

INSERT INTO pv_per_minute

SELECT DATE_FORMAT(TUMBLE_START(ts, INTERVAL ‘1’ MINUTE), ‘yyyy-MM-dd hh:mm:ss’) AS start_time,

DATE_FORMAT(TUMBLE_END(ts, INTERVAL ‘1’ MINUTE), ‘yyyy-MM-dd hh:mm:ss’) AS end_time,

COUNT(*) AS pv_cnt

FROM user_behavior

WHERE behavior = ‘pv’

GROUP BY TUMBLE(ts, INTERVAL ‘1’ MINUTE);

用es-head查看，发现数据已成功写入：

在这里插入图片描述

联表操作

当前user_behavior表的category_id表示商品类目，例如11120表示计算机书籍，61626表示牛仔裤，本次实战的数据集中，这样的类目共有五千多种；
如果我们将这五千多种类目分成6个大类，例如11120属于教育类，61626属于服装类，那么应该有个大类和类目的关系表；
这个大类和类目的关系表在MySQL创建，表名叫category_info，建表语句如下：

CREATE TABLE category_info(

id int(11) unsigned NOT NULL AUTO_INCREMENT,

parent_id bigint ,

category_id bigint ,

PRIMARY KEY ( id )

) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

表category_info所有数据来自对原始数据中category_id字段的提取，并且随机将它们划分为6个大类，该表的数据请在我的GitHub下载：https://raw.githubusercontent.com/zq2599/blog_demos/master/files/category_info.sql
请在MySQL上建表category_info，并将上述数据全部写进去；
在Flink SQL Client执行以下语句创建这个维表，mysql信息请按您自己配置调整：

CREATE TABLE category_info (

parent_id BIGINT, – 商品大类

category_id BIGINT – 商品详细类目

) WITH (

‘connector.type’ = ‘jdbc’,

‘connector.url’ = ‘jdbc:mysql://192.168.50.43:3306/flinkdemo’,

‘connector.table’ = ‘category_info’,

‘connector.driver’ = ‘com.mysql.jdbc.Driver’,

‘connector.username’ = ‘root’,

‘connector.password’ = ‘123456’,

‘connector.lookup.cache.max-rows’ = ‘5000’,

‘connector.lookup.cache.ttl’ = ‘10min’