【Flink】Flink 2023 基于Kyuubi 实现分布式Flink SQL 网关

最新推荐文章于 2024-04-21 17:46:31 发布
最新推荐文章于 2024-04-21 17:46:31 发布
阅读量163 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/135580650
版权

在这里插入图片描述

1.概述

视频：基于Kyuubi 实现分布式Flink SQL 网关

在这里插入图片描述

2.Kyuubi是什么

在这里插入图片描述
经过多年发展，发现SQL GateWay 是一种通用能力，多个引擎都需要这个
在这里插入图片描述
主流流计算发展趋势
在这里插入图片描述

后面发现不通的计算引擎都会提供不同的网关，但是这些网关的特性并没有对齐，尤其是一些企业级的特性上面是有缺失的。Kyuubi的定位就是屏蔽掉这些差异，为上层提供统一的标准的SQL GateWay 解决方案。

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
kyuubi整合flink yarn session mode
流月up的博客
12-06 680
flink 版本 1.17.1、kyuubi 1.8.0、hive 3.1.3、paimon 0.5
Flink的SQL开发
Appreciate(欣赏)
01-29 1342
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的
【Kyuubi】Apache Kyuubi 1.8 特性解读
最新发布
书山有路，学海无涯。记录成长，追逐梦想
04-21 1709
Apache Kyuubi 是一个构建在 Spark、Flink、Trino 等计算引擎之上的，分布式、多租户的企业级大数据网关，致力于在 Lakehouse 之上提供 Serverless SQL 服务。Kyuubi 支持多种类型的工作负载。典型的使用场景包括：用户可以使用 JDBC / BeeLine 以及各种 BI 工具，连接 Kyuubi 进行交互式的数据分析；使用 RESRful API 向 Kyuubi 提交 SQL / Python / Scala / Jar 批作业。
kyuubi整合flink yarn application model
流月up的博客
12-07 714
flink 版本 1.17.1、kyuubi 1.8.0、hive 3.1.3、paimon 0.5整合过程中，需要注意对应的版本。
Apache Kyuubi入门与使用
qq_41463207的博客
03-08 3933
kyuubi入门使用教程
Flink Sql Gateway的原理与实践
OPPO数智技术
12-16 3963
我们在使用Flink开发实时任务时，都会用到框架本身提供的DataStream API，这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑；这种方式虽然灵活且表达性强，但对用户具有一定的开发门槛，并且随着版本的不断更新，DataStream API也有很多老版本不兼容的问题。
apache kyuubi
05-17
Apache Kyuubi 是一个分布式、高性能的 SQL-on-Hadoop 服务框架，它是 Apache 软件基金会的一个孵化项目。Kyuubi 提供了一个统一的入口，使得用户可以通过标准的 JDBC/ODBC 接口来访问和操作大数据存储，支持多种大...
apache-kyuubi-1.4.1-incubating-source.tgz
02-14
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。 功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户...
apache-kyuubi-1.4.1-incubating-bin.tgz
02-14
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。 功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户...
apache-kyuubi-1.5.2-incubating-source.tgz
02-14
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。 功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户...
flink-sql-gateway
03-21
Flink SQL网关 Flink SQL网关是一项服务，允许其他应用程序通过REST API轻松与Flink群集进行交互。 用户应用程序（例如Java / Python / Shell程序，Postman）可以使用REST API提交查询，取消作业，检索结果等。 使JDBC客户端可以基于REST API连接到Flink SQL网关。 当前，REST API是一组内部API，我们建议用户通过JDBC API与网关进行交互。 Flink SQL网关现在将会话属性存储在内存中。如果服务停止或崩溃，则所有属性都将丢失。我们将在未来对此进行改进。 该项目尚处于初期阶段。如果您遇到任何问题或有任何建议，请随时提出问题。 启动网关服务 从头开始启动服务有四个步骤： 下载（或构建）Flink程序包。 Flink SQL网关当前仅支持Apache Flink 1.10，您可以从下载Flink 1.10。
kyuubi：Kyuubi是一个统一的多租户JDBC接口，用于大规模数据处理和分析，基于Apache Spark构建
02-06
久比 Kyuubi是基于构建的高性能通用JDBC和SQL执行引擎。 Kyuubi的目标是促进用户处理大数据（如普通数据）。 它提供了标准化的JDBC接口，在大数据场景中具有易于使用的数据访问。 最终用户可以专注于开发自己的业务系统并挖掘数据价值，而不必了解底层的大数据平台（计算引擎，存储服务，元数据管理等）。 Kyuubi依靠Apache Spark提供高性能的数据查询功能，并且引擎功能的每一项改进都可以帮助Kyuubi的性能取得质的飞跃。 此外，Kyuubi通过引擎缓存提高了临时响应速度，并通过水平缩放和负载平衡增强了并发性。 它提供完整的身份验证和身份验证服务，以确保数据和元数据的安
kyuubi:Kyuubi是基于Apache Spark构建的用于大规模数据处理和分析的分布式多租户JDBC服务器
04-21
Kyuubi是基于构建的高性能通用JDBC和SQL执行引擎。 Kyuubi的目标是促进用户处理大数据（如普通数据）。 它提供了标准化的JDBC接口，在大数据场景中具有易于使用的数据访问。 最终用户可以专注于开发自己的业务系统并挖掘数据价值，而不必了解底层的大数据平台（计算引擎，存储服务，元数据管理等）。 Kyuubi依靠Apache Spark提供高性能的数据查询功能，并且引擎功能的每一项改进都可以帮助Kyuubi的性能取得质的飞跃。 此外，Kyuubi通过引擎缓存提高了临时响应速度，并通过水平缩放和负载平衡增强了并发性。 它提供了完整的身份验证和身份验证服务，以确保数据和元数据的安全性。 它提供强大的高可用性和负载平衡，以帮助您保证SLA承诺。 它提供了两级弹性资源管理体系结构，可以有效地提高资源利用率，同时满足包括交互，批处理和点查询或全表扫描在内的所有方案的性能和响应要求。 它包
apache-kyuubi-1.5.2-incubating-bin.tgz
02-14
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。 功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户...
T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践
NetEaseResearch的博客
03-30 2128
在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上，T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3出行高级大数据工程师李心恺共同分享了 Apache Kyuubi(Incubating) 在T3出行的最新实践与应用，包括基于 Kyuubi 设计的 Flink SQL Engine，Kyuubi 与 Apache Linkis 的集成，以及在T3出行的落地实践。 JDBC 之于 Flink 的现状 首先我们来聊一下 Apac.
Flink SQL 客户端查询Hive配置及问题解决
主要分享大数据相关的知识，如Spark、Hudi
08-27 1906
记录博主第一次使用Flink SQL查询Hive的配置以及问题解决过程flink-1.14.3，这里使用kyuubi1.5.2自带的FlinkHDP环境，Hadoop、Hive等已经安装配置好export HADOOP_CLASSPATH=可以添加在比如/ect/profile里，这样等于修改全局的环境，如果想只对Flink生效，可以添加在bin/config.sh文件里 jar包 下载地址：https://repo1.maven.org/maven2/org/apache/flink/flink-con

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值