Flink SQL Client综合实战

最新推荐文章于 2024-04-08 18:34:12 发布
最新推荐文章于 2024-04-08 18:34:12 发布
阅读量382 收藏 1
点赞数
分类专栏： Java 文章标签： 经验分享 面试 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66789766/article/details/124380363
版权
本文通过Flink SQL展示了如何进行窗口统计、数据写入ElasticSearch以及联表操作。详细介绍了创建数据源、窗口统计浏览量、数据写入ElasticSearch的步骤，并演示了如何在Flink中进行联表查询和统计分析。
摘要由CSDN通过智能技术生成

category_id BIGINT,

behavior STRING,

ts TIMESTAMP(3),

proctime as PROCTIME(), – 处理时间列

WATERMARK FOR ts as ts - INTERVAL ‘5’ SECOND – 在ts上定义watermark，ts成为事件时间列

) WITH (

‘connector.type’ = ‘kafka’, – kafka connector

‘connector.version’ = ‘universal’, – universal 支持 0.11 以上的版本

‘connector.topic’ = ‘user_behavior’, – kafka topic

‘connector.startup-mode’ = ‘earliest-offset’, – 从起始 offset 开始读取

‘connector.properties.zookeeper.connect’ = ‘192.168.50.43:2181’, – zk 地址

‘connector.properties.bootstrap.servers’ = ‘192.168.50.43:9092’, – broker 地址

‘format.type’ = ‘json’ – 数据源格式为 json

);

  1. 执行SELECT * FROM user_behavior;看看原始数据，如果消息正常应该和下图类似：

6.

[](()窗口统计

  1. 下面的SQL是以每十分钟为窗口，统计每个
最低0.47元/天 解锁文章
Flink SQL Client 安装各类 Connector、Format 组件的方法汇总（持续更新中....）
Laurence的技术博客
02-02 1661
一般来说，在 Flink SQL Client 中使用各种 Connector 只需要该 Connector 及其依赖 Jar 包部署到 ${FLINK_HOME}/lib 下即可。但是对于某些特定的平台，如果 AWS EMR、Cloudera CDP 等产品会有所不同，主要是它们中的某些 Jar 包可能被改写过，例如和 Hive Metastore 的交互，AWS EMR 就有另外一套 Metatstore：Glue Data Catalog，所以接口也做了相应的，所以，简单的复制开源的 Jar 包可能会
Flink SQL Client初探
最新发布
2401_84049282的博客
04-08 1921
机会是留给有准备的人，大家在求职之前应该要明确自己的态度，熟悉求职流程，做好充分的准备，把一些可预见的事情做好。对于应届毕业生来说，校招更适合你们，因为绝大部分都不会有工作经验，企业也不会有工作经验的需求。同时，你也不需要伪造高大上的实战经验，以此让自己的简历能够脱颖而出，反倒会让面试官有所怀疑。你在大学时期应该明确自己的发展方向，如果你在大一就确定你以后想成为Java工程师，那就不要花太多的时间去学习其他的技术语言，高数之类的，不如好好想着如何夯实Java基础。请转发本文支持一下。
Flink Sql client & API案例
weixin_42133361的博客
12-21 906
下面的案例是纯 flink sql 案例 -- 创建数据源表映射 create table source ( id bigint, name STRING )with ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/database', 'table-name' = 'table-name', // 这个是mysql中对应的表名 'username' = 'root', 'passwo
Flink SQL sql-client
记录点点滴滴
06-05 1121
指定 sql 文件。
Flink的SqlClient工具
weixin_42796403的博客
03-12 956
SqlClient 启动换一个yarn-session, bin/yarn-session -d 然后启动一个sql客户端. bin/sql-client.sh embedded 建立到Kafka的连接 下面创建一个流表从Kafka读取数据 copy 依赖到 flink的lib 目录下 flink-sql-connector-kafka_2.11-1.12.0.jar 下载地址: https://repo.maven.apache.org/maven2/org/apache/flink/flink-
FlinkSQL-- sql-client及源码解析 -- flink-1.13.6
chbxw
11-05 2006
flink sql client及源码解析
Flink SQL Client综合实战，字节跳动高工面试
m0_64384202的博客
12-25 183
| 时间戳 | 行为发生的时间戳 | | 时间字符串 | 根据时间戳字段生成的时间字符串 | jar准备 实战过程中要用到下面这五个jar文件： flink-jdbc_2.11-1.10.0.jar flink-json-1.10.0.jar flink-sql-connector-elasticsearch6_2.11-1.10.0.jar flink-sql-connector-kafka_2.11-1.10.0.jar mysql-connector-java-5.1.48.jar
Flink SQL Client的使用
Bulut0907
02-25 5055
目录1. 启动SQL Client2. SQL Client结果查看模式3. 同步 / 异步执行DML语句 1. 启动SQL Client 先启动Flink集群 [root@flink1 ~]# [root@flink1 ~]# flink-1.14.3/bin/sql-client.sh ......省略部分...... Flink SQL> 目前sql-client.sh只能连接本地的集群，不能连接远程的集群 2. SQL Client结果查看模式 1. table模式 将结果物化到内存，
flink-sql-submit-client:执行Flink SQL 文件的客户端
05-29
flink-sql-submit-client 执行Flink SQL 文件的客户端 Flink 版本：flink 1.11.0 其他版本待测试 是在的基础上修改而来 使用简单方便 需要指定FLINK_HOME 下载上面code中的jar包 修改 sql-submit.sh 脚本中jar包的路径 和指定 FLINK_HOME jar包可以直接用，如有需要可以根据源码自行修改，然后再打包，改源码后注意修改jar包主类 使用方式 ./sql-submit.sh -f <sql>
Flink SQL-Client 的使用
马斯特杨的博客
05-11 2549
flink sql client 介绍 The SQL Client aims to provide an easy way of writing, debugging, and submitting table programs to a Flink cluster without a single line of Java or Scala code. The SQL Client CLI allows for retrieving and visualizing real-time results
flink sql client
kimi的博客
06-23 527
1.安装docker 2.安装docker-compose: pip install docker-compose 3.从 GitHub 上 clone ververica/sql-training 的 Docker 镜像 地址为：https://github.com/ververica/sql-training 4.切换到sql-training目录下,执行docker-compose up -d 5.docker ps查看镜像信息 6.进入flink sql client:docke...
Flink中的SQL Client和SQL Gateway
wang2leee的博客
09-03 596
SQL Client：Flink SQL Client是一种用于提交和执行Flink SQL语句的命令行界面或图形界面工具。SQL Gateway：Flink SQL Gateway是一个独立的服务，它允许客户端通过RESTful API将SQL查询提交到Flink集群。SQL Client定义用于提交和执行Flink SQL语句的工具允许通过RESTful API将SQL查询提交到Flink集群使用方式命令行或图形界面部署方式客户端本地运行单独的独立服务适用场景。
Flink SQL Client 命令行客户端
修破立生
02-20 1109
本文介绍Flink SQL Client 命令行客户端的启动和基本使用。
Flink SQL
chbxw
08-07 258
一、Flink SQL Client 介绍 二、Connector 2.1、JDBC Connector
Flink SQL Client初探(1)
Z70czd的博客
04-08 778
面试前的“练手”还是很重要的，所以开始面试之前一定要准备好啊，不然也是耽搁面试官和自己的时间。我自己是刷了不少面试题的，所以在面试过程中才能够做到心中有数，基本上会清楚面试过程中会问到哪些知识点，高频题又有哪些，所以刷题是面试前期准备过程中非常重要的一点。《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！一点。[外链图片转存中…(img-exRGJ5zb-1712572440017)]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值