Flink SQL Gateway+Flink JDBC Driver

最新推荐文章于 2024-03-25 18:09:48 发布
最新推荐文章于 2024-03-25 18:09:48 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44628586/article/details/107504244
版权
本文档介绍了如何利用Flink SQL Gateway和Flink JDBC Driver来便捷地提交Flink任务并获取结果。遵循readme指示，即可轻松操作。该方案目前适用于Flink 1.10版本。此外，官方还提供了flink-sql-benchmark作为SQL测试工具。
摘要由CSDN通过智能技术生成

使用Flink SQL Gateway+Flink JDBC Driver实现更方便的提交flink任务，获取想要的结果。

具体文档如下，跟着readme操作就行，很简单。目前只支持flink1.10

https://github.com/ververica/flink-sql-gateway

https://github.com/ververica/flink-jdbc-driver

官方还提供了一个sql的测试工具flink-sql-benchmark

https://github.com/ververica/flink-sql-benchmark

flink-sql-gateway
03-21
Flink SQL网关 Flink SQL网关是一项服务，允许其他应用程序通过REST API轻松与Flink群集进行交互。 用户应用程序（例如Java / Python / Shell程序，Postman）可以使用REST API提交查询，取消作业，检索结果等。 使JDBC客户端可以基于REST API连接到Flink SQL网关。 当前，REST API是一组内部API，我们建议用户通过JDBC API与网关进行交互。 Flink SQL网关现在将会话属性存储在内存中。如果服务停止或崩溃，则所有属性都将丢失。我们将在未来对此进行改进。 该项目尚处于初期阶段。如果您遇到任何问题或有任何建议，请随时提出问题。 启动网关服务 从头开始启动服务有四个步骤： 下载（或构建）Flink程序包。 Flink SQL网关当前仅支持Apache Flink 1.10，您可以从下载Flink 1.10。
Flink SQL Gateway 使用教程
最新发布
gitblog_00150的博客
08-16 551
Flink SQL Gateway 使用教程 flink-sql-gateway项目地址:https://gitcode.com/gh_mirrors/fl/flink-sql-gateway 项目介绍 Flink SQL Gateway 是一个开源项目，旨在提供一个可扩展的 RESTful API，用于执行 Flink SQL 查询和管理 Flink 作业。该项目由 Ververica 维护，...
Gateway for flinksql
lodaner的博客
03-25 329
Gateway for flinksql 简介 github: flink-sql-gateway Flink SQL gateway is a service that allows other applications to easily interact with a Flink cluster through a REST API. User applications (e.g. Java/Python/Shell program, Postman) can use the REST API to
Flink系列之：Flink SQL Gateway
zhengzaifeidelushang的博客
03-25 2192
SQL Gateway 捆绑在常规 Flink 发行版中，因此可以开箱即用。它只需要一个正在运行的Flink集群，可以在其中执行表程序。根据端点的类型，用户可以使用不同的实用程序进行连接。凭借灵活的架构，用户可以通过调用来启动具有指定端点的SQL Gateway。注意：如果 Flink 配置文件中还包含 sql-gateway.endpoint.type 选项，则 CLI 命令具有更高的优先级。返回结果中的operationHandle用于SQL Gateway唯一标识提交的SQL。第 3 步：获取结果。
flink源码分析_Flink深入浅出：Sql Gateway源码分析
weixin_39736150的博客
11-30 405
Flink Sql Gateway是Flink集群的“任务网关”，支持以rest api的形式提交查询、插入、删除等任务。官网推荐与Flink jdbc driver搭配使用，不过jdbc driver限制了很多功能，如果自己开发数据平台，最好还是直接使用sql gateway。想要透彻的使用sql gateway，需要了解一下问题：1 如何处理并发请求？多个提交怎么处理？2 如何维护多个sql之...
flink sql gateway初探
不爱学习的小妞博客
12-07 1539
flink 1.16版本中发布了一个新功能–SQL gateway，本篇文章就来实践测试下该功能。
flink-jdbc-driver
05-29
Flink JDBC 驱动程序 Flink JDBC 驱动程序是一个 Java 库，用于通过连接到作为 JDBC 服务器来访问和操作集群。 该项目处于早期阶段。 如果您遇到任何问题或有任何建议，请随时提出问题。 用法 在使用 Flink JDBC 驱动之前，您需要启动一个作为 JDBC 服务器，并将其与您的 Flink 集群绑定。 我们现在假设您启动了一个网关并连接到正在运行的 Flink 集群。 与 JDBC 工具一起使用 与直线一起使用 Beeline 是用于访问的命令行工具，但它也支持通用 JDBC 驱动程序。 要安装 Hive 和 beeline，请参阅。 从下载 flink-jdbc-driver-(VERSION).jar 并将其添加到$HIVE_HOME/lib 。 运行 beeline 并连接到 Flink SQL 网关。 您可以在 url 的查询参数中指定规划器（
Flink Sql Gateway源码分析
野狼e族 的博客
01-31 1101
Flink Sql Gateway是Flink集群的“任务网关”，支持以rest api的形式提交查询、插入、删除等任务。 官网推荐与Flink jdbc driver搭配使用，不过jdbc driver限制了很多功能，如果自己开发数据平台，最好还是直接使用sql gateway。想要透彻的使用sql gateway，需要了解一下问题： 1 如何处理并发请求？多个提交怎么处理？ 2 如何维护多个sql之间的关联性？ 3 sql字符串如何提交到集群形成代码 4 sql-gateway都支持哪些功能？
T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践
NetEaseResearch的博客
03-30 2243
在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上，T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3出行高级大数据工程师李心恺共同分享了 Apache Kyuubi(Incubating) 在T3出行的最新实践与应用，包括基于 Kyuubi 设计的 Flink SQL Engine，Kyuubi 与 Apache Linkis 的集成，以及在T3出行的落地实践。 JDBC 之于 Flink 的现状 首先我们来聊一下 Apac.
flink-jdbc-driver-0.1-SNAPSHOT.jar
02-28
flink jdbc drive 驱动已测可以使用1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111 房贷是否发生的发生
flinksql如何关联mysql维表_Flink实战（八十三）：flink-sql使用（十）维表join（五）Flink SQL之维表join之Temporal Table Join...
weixin_33902011的博客
02-23 1263
https://zhuanlan.zhihu.com/p/165962937?utm_source=qq维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据...
基于Flink 1.10版本的SQL演练
qq_31866793的博客
02-24 3425
1，搭建Flink集群,在节点node1,node2,node3安装 修改配置文件: flink-conf.yaml配置文件 2,启动hadoop集群，保证hive也是正常的： 启动Flink，成功如下： 3，Flink1.10与Hive的生产级别集成 内存优化点：使用多少内存就用多少内存。 4，我们需要做的流程： 1）...
Flink中的SQL Client和SQL Gateway
wang2leee的博客
09-03 501
SQL Client：Flink SQL Client是一种用于提交和执行Flink SQL语句的命令行界面或图形界面工具。SQL Gateway：Flink SQL Gateway是一个独立的服务，它允许客户端通过RESTful API将SQL查询提交到Flink集群。SQL Client定义用于提交和执行Flink SQL语句的工具允许通过RESTful API将SQL查询提交到Flink集群使用方式命令行或图形界面部署方式客户端本地运行单独的独立服务适用场景。
Flink SQL Gateway使用
aciddzz的博客
01-30 4277
注：本文主要介绍Flink SQL Gateway on Yarn Session & on Yarn per Job 两种模式下的使用 一：Flink SQL Gateway on Yarn Session 1.1 下载Flink版本环境包，注意SQL Gateway目前仅支持Flink 1.10 & 1.11.1+版本 1.1 启动一个yarn session cluster， #!/bin/bash export HADOOP_CONF_DIR=/data/hadoop_conf .
flink1.16 系统集成了 sql gateway 功能
celltobig的专栏
02-20 743
# flink1.16 系统集成了 sql gateway 功能，其中包括两种方式，1. rest 2.hiveserver2 # 测试 read write. hive iceberg 都可以
flink 1.16 sql gateway 测试记录
weixin_40455124的博客
11-11 915
从能搜索到的文档看，一次只能执行一条sql或者set 之类的命令本质就是flink sql的 proxy ，文档也是如此描述通过curl 直接使用还是不方便，应该考虑使用代码进行封装执行失败会返回后台堆栈，但不自行格式化很难阅读，同时还是建议去看后台log虽然是proxy性质，单独部署时候配置和lib需要和cluster其它节点保持一致，否则会有class找不到之类的错误执行结果有点奇怪，有点难阅读，比如select 输出没有column name。
31、Flink的SQL Gateway介绍及示例
热门推荐
alanchanchn的专栏
11-22 4万+
SQL Gateway 是一种使远程多个客户端能够并发执行SQL的服务。它提供了一种提交Flink Job、查找元数据和在线分析数据的简单方法。SQL Gateway 由可插入endpoints 和SqlGatewayService组成。SqlGatewayService是一个由endpoints 重用以处理请求的处理器。endpoints 是允许用户进行连接的入口点。根据endpoints 的类型，用户可以使用不同的utils进行连接。参考上文中的查询示例。
flink SQL Gateway
04-04
The Flink SQL Gateway accepts SQL queries from various clients, such as command-line tools, web-based UIs, or JDBC/ODBC drivers. It parses and optimizes the queries before submitting them to a Flink ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值