Flink v1.11.1 官网Flink SQL Client 的使用

最新推荐文章于 2024-07-01 16:32:35 发布
最新推荐文章于 2024-07-01 16:32:35 发布
阅读量1.2k 收藏
点赞数
分类专栏： Flink 文章标签： Flink SQL Client SqlClienGateway
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/109115393
版权
本文介绍了Flink v1.11.1的SQL Client，它旨在提供无需Java或Scala代码的流批一体SQL开发方式。通过启动Flink集群和SQL Client CLI，用户可以方便地编写、调试和提交SQL程序。详细步骤包括配置hive Catalogs，并提供了SQL Client的不同查询结果模式。
摘要由CSDN通过智能技术生成

1. 官网推出的SQL Client是为了解决什么问题 ？

大数据领域SQL化开发是一个潮流，Flink SQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSet API的复杂细节，降低了使用门槛。

Flink Table和SQL api使得基于flink运行sql成为可能，但是要运行这些sql需要将sql语句嵌入到java或者scala开发的flink tabe程序，然后打包、提交到flink集群才可以运行。

有没有一种Flink SQL平台化，通过纯SQL开发，就可以编写、运行Flink程序呢？官网推出的 SQL Client就是一种纯SQL化的实现工具。

以下为官网SQL Client文档给出的SQL Client意义说明：

The SQL Client aims to provide an easy way of writing, debugging, and submitting table programs to a Flink cluster without a single line of Java or Scala code. The SQL Client CLI allows for retrieving and visualizing real-time results from the running distributed application on the command line.

2. 开始使用Flink SQL Client

了解本专栏 订阅专栏 解锁全文 超级会员免费看
fragrans
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
flink-sql大量使用案例
第一片心意的博客
08-02 7051
本文是 flink sql 的一些使用案例，同时也包括了一些特殊用法展示。
flink-sql-gateway
03-21
Flink SQL网关 Flink SQL网关是一项服务，允许其他应用程序通过REST API轻松与Flink群集进行交互。 用户应用程序（例如Java / Python / Shell程序，Postman）可以使用REST API提交查询，取消作业，检索结果等。 使JDBC客户端可以基于REST API连接到Flink SQL网关。 当前，REST API是一组内部API，我们建议用户通过JDBC API与网关进行交互。 Flink SQL网关现在将会话属性存储在内存中。如果服务停止或崩溃，则所有属性都将丢失。我们将在未来对此进行改进。 该项目尚处于初期阶段。如果您遇到任何问题或有任何建议，请随时提出问题。 启动网关服务 从头开始启动服务有四个步骤： 下载（或构建）Flink程序包。 Flink SQL网关当前仅支持Apache Flink 1.10，您可以从下载Flink 1.10。
Dinky 让Flink作业纵享丝滑
最新发布
qq_34905631的博客
07-01 1032
Dinky的部署方式还有很多：二进制可执行包部署，源码编译部署，docker-compose部署，k8s部署等，支持多种flink模式提交任务，使用flink支持整库同步、增量和实时CDC数据同步，还集成DolphinScheduler(小海豚调度平台)，支持主流的关系型数据库、OLAP数据库和数据湖产品，还有运维监控功能，可视化管理flink任务，Dink。
Flink 官网导航
CarloPan的博客
10-29 1802
配置参数 | Apache Flink配置参数 # All configuration is done in conf/flink-conf.yaml, which is expected to be a flat collection of YAML key value pairs with format key: value.The configuration is parsed and evaluated when the Flink processes are started. Changes to
Flink的SQL开发
Appreciate(欣赏)
01-29 1409
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的
Flink SQL Client 命令行客户端
修破立生
02-20 1041
本文介绍Flink SQL Client 命令行客户端的启动和基本使用。
Flink Sql教程（1）
狄杰的博客
04-30 3183
环境准备 安装Docker及相关镜像 Docker下载链接 由于穷买不起mac，所以挂的windows的链接，可自行去Docker官网下载其他版本。 安装过程省略，毕竟一路下一步的东西，下面开始安装并启动kafka、mysql等服务。 安装zookeeper服务 因为kafka需要将许多信息固化存储在zk上，所以我们首先得安装zookeeper服务 执行docker run -d ...
flink-1.11.1-bin-scala_2.11.tgz
08-13
此外，Flink 1.11.1 还提升了SQL支持，通过Table API和SQL接口，开发者可以更直观地编写流处理和批处理任务，降低了学习和使用的门槛。该版本对SQL标准的兼容性进一步增强，使得熟悉SQL语法的用户能够快速上手。 在...
flink-1.11.1-bin-scala_2.12.tgz
08-13
3. **改进的SQL支持**：Flink SQL 提供了更丰富的SQL支持，包括UDF（用户自定义函数）和UDAF（用户自定义聚合函数），使得数据分析人员可以更加直观地进行数据处理。 4. **连接器增强**：1.11.1 版本中，Flink 连接...
flink-1.11.1-src.tgz
08-13
Flink 1.11.1引入了更加成熟的Table & SQL API，提供了与DataStream和DataSet API的互操作性，使得开发者可以使用SQL语言进行流处理和批处理。 9. **优化与性能** Flink采用了基于图优化的Planner，能够自动优化...
flink-sql集成rabbitmq
06-29
**Flink SQL** 是Flink的一个重要特性，它允许用户使用SQL语句来定义数据流转换，从而简化了复杂的数据处理逻辑。Flink SQL支持标准的SQL语法，并且通过Table API提供了丰富的函数和操作符，包括聚合、窗口、连接等...
Flink1.11中文文档.pdf
07-20
flink1.11 中文文档，
flink-sql-client.zip
01-16
3. **使用flink-sql-client** - **安装与配置**：解压“flink-sql-client.zip”后，用户需要配置相关环境，包括设置FLINK_HOME，添加到PATH等。此外，还需要确保已经配置了正确的Flink集群地址。 - **启动客户端**...
flink1.11.1 sql-client 连接kafka
lucasmaluping的专栏
05-29 936
一、启动flink集群 bin/start-cluster.sh 二、启动sql-client.sh embedded -llibs/ 三、
Gateway for flinksql
lodaner的博客
03-25 320
Gateway for flinksql 简介 github: flink-sql-gateway Flink SQL gateway is a service that allows other applications to easily interact with a Flink cluster through a REST API. User applications (e.g. Java/Python/Shell program, Postman) can use the REST API to
[资源分享]Flink传送门（官网、社区、官方文档……）
白夜的随笔
11-29 991
Flink官方社区，有视频教程和实践文章：Flink中文社区Ververica Flink官网：Flink官方首页 Flink官方文档：Flink官方文档 出Bug上这里搜一搜，问题都是相似的：Flink 中文用户邮件列表 阿里的Flink SQL文档，开发的时候很有参考意义：阿里云Flink SQL开发文档 阿里云邪大佬的博客：阿里云邪大佬的博客 博客很多Flink干货：大数据技术与应用实战 ...
Flink SQL Gateway使用
aciddzz的博客
01-30 4236
注：本文主要介绍Flink SQL Gateway on Yarn Session & on Yarn per Job 两种模式下的使用 一：Flink SQL Gateway on Yarn Session 1.1 下载Flink版本环境包，注意SQL Gateway目前仅支持Flink 1.10 & 1.11.1+版本 1.1 启动一个yarn session cluster， #!/bin/bash export HADOOP_CONF_DIR=/data/hadoop_conf .
flink sql开发平台
wflh323的专栏
08-31 1372
flink在实时计算方面越来越受欢迎，为了降低开发难度成本很多公司开始研发flink开发平台，业务开发只需写sql就行。flink ververica公司开源了flink-sql-gateway,flink-jdbc-driver 两个项目，使flink开发可以像mr一样写sql。不过这两个项目现在都没更新了，flink官方打算在1.16中支持 flink jdbc。还可以基于zeppelin flink sdk去开发。我基于flink-sql-gateway开发了个简易的flink sql开发平台。...
Flink 客户端操作指南：命令行、Scala Shell、SQL Client 等
在 Flink 安装目录的 bin 目录下面可以看到有多个命令行工具，包括 `flink`、`start-scala-shell.sh` 和 `sql-client.sh` 等。 二、ScalaShell ScalaShell 是 Flink 的交互式 Scala shell，可以用来执行 Scala ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值