Spark SQL的分布式SQL引擎

最新推荐文章于 2024-07-31 20:22:54 发布
最新推荐文章于 2024-07-31 20:22:54 发布
阅读量608 收藏
点赞数
分类专栏： Spark SQL 文章标签： Spark SQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jmx_bigdata/article/details/88571873
版权
本文介绍了Spark SQL作为分布式查询引擎的使用，包括通过Thrift JDBC/ODBC server进行编程交互和使用Spark SQL CLI执行SQL查询。Thrift JDBC/ODBC server允许通过Java JDBC或beeline工具连接，启动服务并在localhost:10000监听，支持HTTP模式。Spark SQL CLI则提供命令行工具执行本地Hive Metastore服务的查询。
摘要由CSDN通过智能技术生成

目录

 

一、简介 

二、使用Thrift JDBC/ODBC server

2.1概述

2.2使用案例

三、使用Spark SQL cli

一、简介 

Spark SQL可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。在此模式下，终端用户或应用程序可以直接与Spark SQL交互以运行SQL查询，而无需编写任何代码。主要有两种方式，一种是Thrift JDBC/ODBC,另一种是Spark SQL命令行终端。

二、使用Thrift JDBC/ODBC server

2.1概述

Spark SQL的Thrift JDBC/ODBC server是基于Hive 1.2.1的HiveServer2实现的(注意：在spark1.5.1及其之后的版本是基于Hive1.2.1的，在spark1.5.0和其之前的版本中是基于Hive0.13的)。这个服务启动之后，最主要的功能就是可以让我们通过
Java JDBC来以编程的方式调用Spark SQL。此外，在启动该服务之后，可以通过Spark或Hive 1.2.1自带的beeline工具来进行测试。

执行Spark的sbin目录下的start-thriftserver.sh命令，即可启动JDBC/ODBC server。start-thriftserver.sh命令可以接收所有spark-submit命令可以接收的参数，额外增加的一个参数是--hiveconf，可以用于指定一些Hive的配置属性。可以通过行./sbin/start-thr

最低0.47元/天 解锁文章
大数据技术与数仓
关注
专栏目录
Spark(29) -- SparkSQL底层如何执行及分布式SQL引擎
erainm
10-07 382
1. RDD 和 SparkSQL 运行时的区别 2. Catalyst 3. 分布式SQL引擎
大数据Spark分布式SQL引擎
赵广陆
08-25 383
目录1 Spark SQL CLI2 ThriftServer JDBC/ODBC Server2.1 beeline 客户端2.2 JDBC/ODBC 客户端 1 Spark SQL CLI 回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？？？ 方式一：交互式命令行（CLI） bin/hive，编写SQL语句及DDL语句 方式二：启动服务HiveServer2（Hive ThriftServer2) 将Hive当做一个服务启动(类似MySQL数据库，启动一个服务)，端
【Spark计算引擎----第一篇：（全网最详细）带你从零基础通往精通之路】
最新发布
书生的技术分享
07-31 1194
Apache Spark是专为大规模数据处理而设计的快速通用的分布式计算引擎（基于内存），是开源的类Hadoop MapReduce的通用分布式计算框架。和MapReduce一样，都是完成大规模数据的计算处理。Spark 被设计用于处理诸如==批处理、流处理、机器学习、图计算==等多种类型的数据处理任务，并且可以在各种数据源上运行，包括结构化与非结构化的数据。
Spark综合学习笔记（二十九）SparkSQL分布式SQL引擎
斯特凡今天也很帅的博客
12-01 1641
学习致谢 https://www.bilibili.com/video/BV1Xz4y1m7cv?p=66 说明 Hive的SQL交互方式 方式1∶交互式命令行（CLI) · bin/hive，编写SQL语句及DDL语句 方式2: 启动服务HiveServer2 (Hive ThriftServer2) ·将Hive当做一个服务启动(类似MySQL数据库，启动一个服务)，端口为10000 ·交互式命令行，bin/beeline，CDH 版本HIVE建议使用此种方式，CLI方式过时 · 2JDBC/ODBC方
Spark SQL之分布式SQL引擎
Thomson617的博客
02-22 795
Spark SQL还可以使用JDBC/ODBC或命令行接口充当分布式查询引擎。在这种模式下，终端用户或应用程序可以直接与Spark SQL交互来运行SQL查询，而不需要编写任何代码。 Running the Thrift JDBC/ODBC server 这里实现的Thrift JDBC/ODBC服务器对应于Hive 1.2.1中的HiveServer2。您可以使用Spark或Hive 1.2.1...
spark实现分布式mysql_spark集群中每个节点都有一个独立数据库，可以实现分布式统计计算吗？...
weixin_26891599的博客
01-27 193
我将spark搭建在两台机器上，其中一台即是master又是slave，另一台是slave，两台机器上均装有独立的mongodb数据库。我的主程序让它们统计自身数据库的内容，然后将结果汇总到一台服务器上的数据库里。目前代码是在master节点上提交的。但是我spark-submit之后，好像只统计master节点上的mongodb里的数据了，另一个worker节点没有统计上。请问这是什么原因？代码...
Spark Sql 分布式SQL引擎&&Pandas PySpark使用
热门推荐
OnTheRoad的博客
02-03 1万+
Spark Sql 分布式SQL引擎 Spark SQL可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。在这个模式下，用户或应用程序可以直接与Spark SQL交互以运行SQL查询，而无需编写任何代码。 运行Thrift JDBC / ODBC服务器 对应HiveServer2 于Hive 1.2.1中的。可以使用Spark或Hive附带的beeline脚本测试JDBC服务器 启动...
基于Spark SQL的分布式全文检索框架的设计与实现.pdf
08-08
本文档主要介绍了基于Spark SQL的分布式全文检索框架的设计与实现。文档中提到了大数据的快速发展和传统数据库面临的挑战，指出了传统数据库在性能、扩展性及成本方面的不足，难以满足当前大数据分析的需求。为解决...
基于spark sql引擎的即席查询服务.zip
04-25
在"基于Spark SQL引擎的即席查询服务"中，我们主要关注的是如何利用Spark SQL构建一个能够快速响应用户查询的服务。即席查询（Ad-Hoc Query）服务通常用于数据分析场景，允许用户在没有预先定义查询的情况下自由探索...
基于Spark的分布式网络日志处理系统的设计与实现.pdf
08-08
为了更好地处理这些数据，系统利用Flume进行日志的采集，Hadoop进行数据的分布式存储，Spark SQL用于数据分析和处理。 Flume是一个高可用的、分布式的数据流系统，它能够高效地从不同源采集数据，并将数据可靠地...
Spark和TiDB (Spark on TiDB)
04-30
SparkTI (Spark on TiDB)是TiDB基于Apache Spark的独立于原生系统的计算引擎。它将Spark和TiDB深度集成，在原有MySQL Workload之外借助Spark支持了更多样的用户场景和API。这个项目在SparkSQL和Catalyst引擎之外实现了一套扩展的，为TiDB定制的SQL前端（Parser，Planner和优化器）：它了解TiDB如何组织数据，并知晓如何借助TiDB本身的计算能力加速查询，而不仅仅是一个Connector。凭借SparkTI，TiDB将成为Hadoop生态的一部分，铺平了OLTP系统和离线分析集群之间的鸿沟。
Spark的分布式数据集RDD
weixin_38729343的博客
10-05 283
一.RDD介绍 (1)RDD介绍 RDD全称resilient distributed dataset（弹性分布式数据集）。他是一个弹性分布式数据集，是spark里面抽象的概念。代表的是一个不可变的，集合里面的元素可以分区的支持并行化的操作。 (2)源码描述RDD的五大特性 A list of partitions A function for computing each split A li...
Spark SQL演示与分布式SQL查询引擎
灿若星辰丶的博客
08-07 854
（1）通过sparksql访问mysql中的数据 bin/spark-submit \ --class bigdata.spark.sql.test.DFTest \ --master local \ ./FirstSparkPro.jar （2）SparkSQL与Hive结合（类似的有Hive中处理SQL，直接用MapReduce计算处理） 使用SparkSQL访问Hive 将hive安...
大数据Spark（三十三）：SparkSQL分布式SQL引擎
Lansonli（蓝深李）的博客
04-20 1176
停止使用:在实际大数据分析项目中，使用SparkSQL时，往往启动一个ThriftServer服务，分配较多资源（Executor数目和内存、CPU），不同的用户启动beeline客户端连接，编写SQL语句分析数据。Spark Thrift Server将Spark Applicaiton当做一个服务运行，提供Beeline客户端和JDBC方式访问，与Hive中HiveServer2服务一样的。回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？
大数据开发之Spark SQL及基础引擎知识分享
m0_58371965的博客
12-29 223
Spark SQL作为Spark计算查询的重要支撑，在Spark生态当中的重要性是不言而喻的。Spark SQL使得一般的开发人员或者非专业的开发人员，也能快速完成相应的计算查询需求，大数据培训这也是其存在的重要意义。今天的大数据开发学习分享，我们就来讲讲Spark SQL及基础引擎。 在编程级别上，Spark SQL允许开发人员对具有模式的结构化数据发出与ANSI SQL：2003兼容的查询。自从在Spark1.3中引入以来，Spark SQL已经发展成为一个强大的引擎，在此基础上建立了许多高级的结构化
Spark大数据分与实践笔记（第五章 HBase分布式数据库-01）
Lydia868的专栏
08-23 616
HBase起源于2006年Google发表的BigTable论文。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，利用HBase可在廉价PC服务器上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBase分布式数据库具有如下的显著特点:●容量大HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。●面向列HBase是面向列的存储和权限控制，并支持独立检索。
Spark SQL ---分布式SQL引擎（四）
weixin_42051034的博客
04-17 213
Spark SQL ---分布式SQL引擎4.分布式SQL引擎4.1 运行Thrift JDBC/ODBC server4.2 运行Spark SQL命令行工具参考 4.分布式SQL引擎 Spark SQL可以作为JDBC/ODBC或者命令行工具的分布式查询引擎。在这种模式下，终端用户或应用程序，无需写任何代码，就可以直接在Spark SQL中运行SQL查询。 4.1 运行Thrift JDBC/...
基于spark sql引擎的即席查询服务
UFO的博客
05-07 3663
项目地址 IQL，多多支持，欢迎star IQL 参考 spark sql在喜马拉雅的使用之xql的load、select、save语法实现了一套基于spark的即席查询服务 优雅的交互方式，支持多种datasource/sink spark常驻服务，基于zookeeper的引擎自动发现 负载均衡，多个引擎随机执行 多session模式实现并行查询 基于spark的动态资源分配，...
Intel Spark SQL的自适应执行引擎优化
"Spark Adaptive Execution 是Intel Spark团队推出的一种针对Spark SQL的优化执行引擎，旨在自动获取最佳执行计划，以提升Spark SQL的性能。" 在Spark SQL中，自适应执行引擎（Adaptive Execution, AE）是一项重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值