kyuubi、sparksql部署实战与连接

于 2024-04-29 00:22:57 发布
阅读量799 收藏 21
点赞数 14
分类专栏： 大数据 文章标签： hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanwen112/article/details/138289375
版权

一、下载spark和kyuubi的软件包

spark官网下载

https://spark.apache.org/downloads.html

kyuubi官网下载

https://www.apache.org/dyn/closer.lua/kyuubi/kyuubi-1.9.0/apache-kyuubi-1.9.0-bin.tgz

二、部署spark

1、spark配置spark-env.sh

YARN_CONF_DIR=/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop/etc/hadoop

2、spark中使用hive元数据，需添加hive的hive-site.xml

三、配置kyuubi环境

1、kyuubi-defaults.conf

y
kyuubi.frontend.bind.host                bigdata30
kyuubi.frontend.protocols                THRIFT_BINARY,REST
kyuubi.frontend.thrift.binary.bind.port  10009
# kyuubi.frontend.rest.bind.port           10099
#
kyuubi.engine.type                       SPARK_SQL
kyuubi.engine.share.level                USER
# kyuubi.session.engine.initialize.timeout PT3M

# 高可用
kyuubi.ha.enabled                           true
kyuubi.ha.client.class                      org.apache.kyuubi.ha.client.zookeeper.ZookeeperDiscoveryClient 

kyuubi.ha.addresses                         bigdata30:2181,bigdata31:2181,bigdata32:2181
kyuubi.ha.namespace                         kyuubi

# 如果启动了kerberos需要配置如下

# kyuubi.ha.zookeeper.auth.type               KERBEROS

kyuubi.ha.zookeeper.auth.principal          zookeeper/_HOST@HADOOP.COM
kyuubi.ha.zookeeper.auth.keytab             /etc/security/keytabs/zookeeper.keytab

# kyuubi 启动kerberos认证配置
kyuubi.authentication                       KERBEROS
kyuubi.kinit.principal                      hive/_HOST@HADOOP.COM
kyuubi.kinit.keytab                         /etc/security/keytabs/hive.keytab 

#kyuuibi pool
kyuubi.backend.engine.exec.pool.size  30
kyuubi.backend.engine.exec.pool.wait.queue.size  100

#spark
spark.master           yarn
# spark.driver.memory    2g
# spark.executor.memory  4g
# spark.driver.cores     1
# spark.executor.cores   3


#spark sql优化
spark.sql.adaptive.enabled              true
spark.sql.adaptive.forceApply              false
spark.sql.adaptive.logLevel              info
spark.sql.adaptive.advisoryPartitionSizeInBytes              256m
spark.sql.adaptive.coalescePartitions.enabled              true
spark.sql.adaptive.coalescePartitions.minPartitionNum              1
spark.sql.adaptive.coalescePartitions.initialPartitionNum              1
spark.sql.adaptive.fetchShuffleBlocksInBatch              true
spark.sql.adaptive.localShuffleReader.enabled              true
spark.sql.adaptive.skewJoin.enabled              true
spark.sql.adaptive.skewJoin.skewedPartitionFactor              5
spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes              400m
spark.sql.adaptive.nonEmptyPartitionRatioForBroadcastJoin              0.2
# spark.sql.adaptive.optimizer.excludedRules
spark.sql.autoBroadcastJoinThreshold              -1
# Details in https://kyuubi.readthedocs.io/en/master/configuration/settings.html

# #静态资源申请
# spark.executor.instances      2
# spark.executor.cores          2
# spark.executor.memory         2g

# 动态资源申请
spark.dynamicAllocation.enabled              true
# # ##false if prefer shuffle tracking than ESS
# spark.shuffle.service.enabled              true
spark.dynamicAllocation.initialExecutors              1
spark.dynamicAllocation.minExecutors              1
spark.dynamicAllocation.maxExecutors              5
# spark.executor.cores 3
# spark.exevutor.memory 4g
spark.dynamicAllocation.executorAllocationRatio              0.5
spark.dynamicAllocation.executorIdleTimeout              60s
spark.dynamicAllocation.cachedExecutorIdleTimeout              30min
# true if prefer shuffle tracking than ESS
spark.dynamicAllocation.shuffleTracking.enabled              true
spark.dynamicAllocation.shuffleTracking.timeout              30min
spark.dynamicAllocation.schedulerBacklogTimeout              1s
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout              1s
spark.cleaner.periodicGC.interval              5min
# # For a user named kent
# ___hive___.spark.dynamicAllocation.maxExecutors  10

2、kyuubi-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131
export SPARK_HOME=/home/soft/spark-3.5.1-bin-hadoop3
# export FLINK_HOME=/opt/flink
export HIVE_HOME=/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hive
# export FLINK_HADOOP_CLASSPATH=/path/to/hadoop-client-runtime-3.3.2.jar:/path/to/hadoop-client-api-3.3.2.jar
# export HIVE_HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/common/lib/commons-collections-3.2.2.jar:${HADOOP_HOME}/share/hadoop/client/hadoop-client-runtime-3.1.0.jar:${HADOOP_HOME}/share/hadoop/client/hadoop-client-api-3.1.0.jar:${HADOOP_HOME}/share/hadoop/common/lib/htrace-core4-4.1.0-incubating.jar
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop
export YARN_CONF_DIR=/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop/etc/hadoop
export KYUUBI_JAVA_OPTS="-Xmx10g -XX:MaxMetaspaceSize=512m -XX:MaxDirectMemorySize=1024m -XX:+UseG1GC -XX:+UseStringDeduplication -XX:+UnlockDiagnosticVMOptions -XX:+UseCondCardMark -XX:+UseGCOverheadLimit -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./logs -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -verbose:gc -Xloggc:./logs/kyuubi-server-gc-%t.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=20M"
export KYUUBI_BEELINE_OPTS="-Xmx2g -XX:+UseG1GC -XX:+UnlockDiagnosticVMOptions -XX:+UseCondCardMark"

3、创建keytab文件到配置指定路径

如果是高可用的每个机器放置好keytab文件

[root@bigdata31 ~]# ll /etc/security/keytabs/
总用量 12
-rw-r--r-- 1 root root  970 4月  28 23:12 hive.keytab
-rw-r--r-- 1 root root 1040 4月  28 21:47 zookeeper.keytab

4、启动与关闭

sudo -u hive bin/kyuubi start
sudo -u hive bin/kyuubi stop
或则
sudo -u hive bin/kyuubi restart

四、测试连接

1、beline连接

1.1、非ha方式

[root@bigdata30 apache-kyuubi-1.9.0-bin]# beeline -u 'jdbc:hive2://bigdata30:10009/;principal=hive/_HOST@HADOOP.COM'
Connecting to jdbc:hive2://bigdata30:10009/;principal=hive/_HOST@HADOOP.COM
Connected to: Spark SQL (version 3.5.1)
Driver: Hive JDBC (version 2.1.1-cdh6.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 2.1.1-cdh6.2.1 by Apache Hive
0: jdbc:hive2://bigdata30:10009/>

1.2、ha方式连接

beeline -u 'jdbc:hive2://bigdata30:2181,bigdata31:2181,bigdata32:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi;principal=hive/_HOST@HADOOP.COM'

[root@bigdata30 apache-kyuubi-1.9.0-bin]# beeline -u 'jdbc:hive2://bigdata30:2181,bigdata31:2181,bigdata32:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi;principal=hive/_HOST@HADOOP.COM'
Connecting to jdbc:hive2://bigdata30:2181,bigdata31:2181,bigdata32:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi;principal=hive/bigdata30@HADOOP.COM
24/04/28 22:56:40 [main]: INFO jdbc.HiveConnection: Connected to 10.8.3.30:10009
Connected to: Spark SQL (version 3.5.1)
Driver: Hive JDBC (version 2.1.1-cdh6.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 2.1.1-cdh6.2.1 by Apache Hive
0: jdbc:hive2://bigdata30:2181,bigdata31:2181>

2、dbeaver连接

软件包 hive-jdbc-uber-2.6.3.0-235.jar

2.1、非ha连接

url模板

jdbc:hive2://{host}[:{port}][/{database}];AuthMech=1;KrbRealm=HADOOP.COM;KrbHostFQDN={host};KrbServiceName={server};KrbAuthType=2;principal={user}/_HOST@HADOOP.COM

连接信息

jdbc:hive2://bigdata30:10009/default;AuthMech=1;KrbRealm=HADOOP.COM;KrbHostFQDN=bigdata30;KrbServiceName=hive;KrbAuthType=2;principal=hive/_HOST@HADOOP.COM

还有一种类似beline的连接方式，非常精简，看着清爽：

jdbc:hive2://{host}[:{port}][/{database}];principal={user}/_HOST@HADOOP.COM

jdbc:hive2://bigdata30:10009/default;principal=hive/_HOST@HADOOP.COM

注意数据库信息必须填写，否则会报错

2.2、ha连接

SmartManWind
关注
  • 14
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
incubator-kyuubi-website:Apache Kyuubi 站点
07-24
Apache Kyuubi 站点 用法 该站点是使用生成的。 要生成站点，您只需要一个二进制文件。 按照 Hugo 站点的安装指南进行操作。 （通常所有包管理器都包含专用包，但由于hugo 是用go 编写的，因此也可以从发布页面下载单个二进制文件）。 安装后，您可以使用以下命令生成站点： hugo 并且站点会生成到content子目录下。 此存储库包含站点的源版本和呈现版本。 在提交之前总是执行一个hugo ，以刷新内容文件夹。 要改进/开发网站，您可以使用 hugo server 它启动一个独立的自动刷新的 Web 服务器。 内容 发布/新闻 要创建新版本，请在src/release目录中创建一个文件。 文件名应该是<version>.md ，其中 version 是发布版本。 示例：src/release/1.2.0.md --- title: release **
Apache Kyuubi、Spark Thrift Server与Hive Server2
赣江
12-13 1764
STS和HS2真可谓是一个复杂的历史，最开始的时候，Spark SQL的代码几乎全部都是Hive的照搬，随着时间的推移，Hive的代码被逐渐替换，直到几乎没有原始的Hive代码保留，具体的内容可以参考：Spark最开始打包的是Shark和SharkServer(Spark和Hive的结合体)。那个时候，这个结合体包含了大量的Hive代码。
干货 | Ambari 集成 Kyuubi 时的配置渲染逻辑
CREATE_17的博客
03-02 1043
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！大家好，我是 create17，见字如面。今天给大家分享一个 Ambari 集成第三方服务的经典知识点，Ambari 如何根据配置开关量去判断是否增加新配置。以集成 Kyuubi 为例：需求如下：Ambari 在集成 Kyuubi 时，如...
Apache Kyuubi 在小米大数据平台的应用实践
网易数帆社区博客
09-02 1260
WorkspaceA 下面的用户使用平台发放的 Token，选择各类客户端工具，向引擎提交 SQL 查询，Kyuubi Server 会自动将用户 SQL 提交到该空间所属的计算引擎上去，来保证用户使用资源的隔离性。由于之前已经实现了对 Spark Engine 的管理服务，我们将 Kyuubi Engine 的管理直接从 Kyuubi Server 剥离，形成了单独的 Engine Manager 服务，负责 Engine 的生命周期管理，配置上下文管理，同时提供服务发现和负载均衡能力。
Hadoop Meetup 2021 回顾 - Apache Kyuubi 助力 CDH 解锁 Spark SQL
NetEaseResearch的博客
11-17 1782
Apache Kyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在Spark SQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议（如 RESTful、 MySQL）和计算引擎（如Flink）。 Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServer2，帮助企业把HiveQL迁移到Spark SQL，轻松获得10~100倍性能提升（具体提升幅度与SQ
基于 Kyuubi 实现分布式 Flink SQL 网关
最新发布
Ververica的博客
03-05 1325
本文整理自网易互娱资深开发工程师、Apache Kyuubi Committer 林小铂的《基于 Kyuubi 实现分布式 Flink SQL 网关》分享。
Apache Kyuubi入门与使用
qq_41463207的博客
03-08 3540
kyuubi入门使用教程
kyuubi1.2.0基于spark3.1.2单机模式部署
qq_40367999的博客
05-31 1072
一、第一步编译 spark3.1.2、hadoop 3.0.0 、cdh6.0.1 hive版本默认2.3.7，使用hive2.1.1需要修改源码（在此不做赘述） 二、Spark配置 1、修改spark配置文件 cd /data12/spark3/conf cd /data12/spark3/conf # 把hive hdfs 相关配置文件的软连接构建起来 ln -s /etc/hive/conf/hive-site.xml hive-site.xml ln -s /etc/hive/con
Kyuubi基本安装与使用指南
从大数据到人工智能的博客
05-13 6073
Apache Kyuubi (Incubating)，一个分布式和多租户网关，用于在 Lakehouse 上提供无服务器 SQL。本文为kyuubi入门文章，介绍了Kyuubi基本安装与使用，并以Spark引擎为例讲述如何提交第一个Spark SQL任务。 您还可以阅读文章《Kyuubi 与 Spark ThriftServer 的全面对比分析》了解Kyuubi与Spark ThriftServer的异同点。 安装包下载 进入如下页面下载kyuubi安装包：https://kyuubi.apa.
大数据实践-Kyuubi
program哲学
12-31 1171
概述 Kyuubi 是一个分布式多租户 Thrift JDBC/ODBC 服务器，用于大规模数据管理、处理和分析，构建在 Apache Spark 之上，旨在支持更多引擎（即 Flink）。 Kyuubi 通过 Thrift JDBC/ODBC 接口为最终用户提供了一个纯 SQL 网关，以使用预编程和可扩展的 Spark SQL 引擎来操作大规模数据。 我们的目标是使 Kyuubi 成为数据仓库和数据湖的“开箱即用”工具。 这种“开箱即用”的模型最大限度地减少了最终用户在客户端使用 Spark 的障碍和成本
CDH部署Kyuubi Parcel包服务
这个人很懒。
08-10 630
Apache Kyuubi™ 是一个分布式多租户网关，用于在数据仓库和 Lakehouse 上提供无服务器 SQL。本篇文章将介绍如何在CDH的集群中安装及使用Kyuubi服务。
apache kyuubi
05-17
apache kyuubi
apache-kyuubi-1.4.1-incubating-source.tgz
02-14
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。 功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户支持。 高可用：Kyuubi基于ZooKeeper提供了负载均衡，提供了企业级的高可用性，以及无限的客户端高并发。 多工作负载：Kyuubi可以通过一个平台、一个数据副本和一个SQL接口轻松支持多个不同的工作负载。 使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。 批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例
apache-kyuubi-1.4.1-incubating-bin.tgz
02-14
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。 功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户支持。 高可用：Kyuubi基于ZooKeeper提供了负载均衡，提供了企业级的高可用性，以及无限的客户端高并发。 多工作负载：Kyuubi可以通过一个平台、一个数据副本和一个SQL接口轻松支持多个不同的工作负载。 使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。 批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例
Kyuubi：开源企业级Serverless Spark框架.pdf
06-24
姚琴 | 《Kyuubi：开源企业级Serverless Spark框架》@网易数帆技术沙龙 议题：网易集团每日有数十万 Spark 类型的任务，这给服务端的运维及调优带来了巨大挑战。为支持业务避开底层技术和框架选型，直接享受到前沿技术，网易数帆开发了企业级 Serverless Spark 和数据湖探索框架Kyuubi，并将其开源。 嘉宾：姚琴，网易数帆大数据专家，Apache Spark Committer / Apache Submarine Committer。
大数据：Apache Kyuubi框架简介及与Spark ThriftServer，Hive On Spark的对比
GIS摆渡人
06-08 616
Kyuubi是一个统一的多租户JDBC接口，用于大规模数据处理和分析，建立在Apache Spark之 上。它扩展了Spark Thrift Server在企业应用中的场景，其中最重要的是多租户支持。 Kyuubi 提供以下功能： spark thriftserver存在的问题...
Apache Kyuubi 讲解与实战操作
匠人精神，持之以恒！
12-20 1390
Apache Kyuubi，一个分布式多租户网关，用于在 Lakehouse 上提供无服务器 SQL。Kyuubi 是一个基于 Apache Spark 的开源分布式 SQL 引擎，为用户提供了一个统一的 SQL 查询接口，使其能够以标准 SQL 语法查询和分析各种数据源。
kyuubi rest api介绍
terry21的专栏
01-12 1228
全网都没有找到介绍怎么使用kyuubi rest api，于是自己研究了一下
Kyuubi1.4.0集成spark3.2.0
qq_40367999的博客
05-31 1482
kyuubi集成spark3.2.0 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决.
kyuubi jdbc连接spark
01-07
Kyuubi是一个开源的Spark SQL JDBC服务器，它允许通过JDBC连接来访问和查询Spark SQL。下面是使用Kyuubi JDBC连接Spark的步骤： 1. 首先，确保你已经下载并安装了Kyuubi服务器。你可以从Apache官方网站下载Kyuubi的发行版本。 2. 启动Kyuubi服务器。你可以使用以下命令启动Kyuubi服务器： ```shell ./bin/kyuubi-start.sh ``` 3. 在你的Java或Scala代码中，使用JDBC连接字符串连接到Kyuubi服务器。连接字符串的格式如下： ``` jdbc:hive2://<kyuubi-server-host>:<kyuubi-server-port>/<database-name> ``` 其中，`<kyuubi-server-host>`是Kyuubi服务器的主机名或IP地址，`<kyuubi-server-port>`是Kyuubi服务器的端口号，`<database-name>`是要连接的数据库名称。 例如，如果Kyuubi服务器运行在本地主机的10000端口，并且你要连接到名为"mydatabase"的数据库，连接字符串将如下所示： ``` jdbc:hive2://localhost:10000/mydatabase ``` 4. 使用合适的JDBC驱动程序连接到Kyuubi服务器。你可以使用Apache Hive提供的JDBC驱动程序，或者使用其他支持HiveServer2协议的JDBC驱动程序。 在Java中，你可以使用以下代码连接到Kyuubi服务器： ```java import java.sql.*; public class KyuubiJdbcExample { public static void main(String[] args) { String jdbcUrl = "jdbc:hive2://localhost:10000/mydatabase"; String username = "your-username"; String password = "your-password"; try (Connection connection = DriverManager.getConnection(jdbcUrl, username, password)) { // 连接成功，可以执行SQL查询和操作 // ... } catch (SQLException e) { e.printStackTrace(); } } } ``` 在Scala中，你可以使用以下代码连接到Kyuubi服务器： ```scala import java.sql.DriverManager import java.sql.Connection object KyuubiJdbcExample { def main(args: Array[String]): Unit = { val jdbcUrl = "jdbc:hive2://localhost:10000/mydatabase" val username = "your-username" val password = "your-password" try { val connection = DriverManager.getConnection(jdbcUrl, username, password) // 连接成功，可以执行SQL查询和操作 // ... connection.close() } catch { case e: Exception => e.printStackTrace() } } } ``` 请注意，你需要将`your-username`和`your-password`替换为实际的用户名和密码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值