Spark系列（20）—— Spark SQL编程

已于 2025-01-07 11:23:01 修改
阅读量494 收藏
点赞数 2
分类专栏： 大数据从入门到精通 文章标签： spark sql 大数据
于 2023-11-15 03:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134359407
版权
Spark SQL是Spark的一个模块，用于处理结构化数据，提供比RDD更高效的数据处理接口。它允许无缝整合SQL查询和Spark编程，统一访问不同数据源，且兼容Hive。SparkSession作为新的起点，结合了SQLContext和HiveContext的功能。常用的数据处理方式包括方法调用、SQL语句和DSL特殊语法。此外，Spark SQL支持用户自定义函数，如UDF和UDAF。
摘要由CSDN通过智能技术生成

1. Spark SQL概述

1.1 什么是Spark SQL

Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。与Spark SQL交互的方式有多种，包括SQL和Dataset API。计算结果时，使用相同的执行引擎，与您用于表达计算的API/语言无关。

1.2 为什么要有Spark SQL

了解本专栏 订阅专栏 解锁全文
spark点点滴滴 —— 认识spark sql的DataFrame和DataSet
星辰大海，脚踏实地
03-31 3950
概述spark的DataFrames和DataSets是spark SQL中的关键概念，相比于RDD，DataFrame更能描述数据类型，因此是spark sql的基础类型，同时在spark 2.0.x及其以后的版本中，spark的机器学习也会逐渐替换成基于DataFrame的api，所有我们有必要了解spark的DataFrame相关概念。 spark sql在spark框架中的位置： 我
Spark SQL整合Hive
糊里糊涂走进大数据的小菜鸡
01-05 2908
文章目录1. Spark SQL整合Hive2. SparkSQL与Hive共用元数据2.1 开启Hive元数据服务2.1.1 修改hive配置2.1.2 启动hive元数据服务2.2 拷贝hive-site.xml和mysql驱动2.3 启动SparkSQL2.4 测试 1. Spark SQL整合Hive 为什么要进行整合？ 由于hive原生是基于MapReduce的，导致其查询耗时较长。 为了保留Hive的架构解决方案，并优化查询速度，采用SparkSql与hive整合(spark on hive)，
hive
weixin_34080951的博客
03-25 115
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive定义 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一...
3.sparkSQL整合Hive
weixin_33939843的博客
08-09 442
　　spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽略了Hive的版本。Spark SQL内部将Hive反编译至Hive 1.2.1版本，Spark...
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2551
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
大数据技术之Spark——Spark SQL
2301_77033583的博客
05-01 683
注意：如果从内存中获取数据，spark 可以知道数据类型具体是什么。如果是数字，默认作 为 Int 处理；但是从文件中读取的数字，不能确定是什么类型，所以用 bigint 接收，可以和 Long 类型转换，但是和 Int 不能进行转换。
spark编程06——关于本地运行spark程序和打包到集群中运行的区别
SYITwin的博客
03-18 546
如果本地运行就用： val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift") 如果打包到集群中运行就是： val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift") （如何在IDEA中打包见：spark编程01——IDEA创建项目打包到集群中运行） imp..
spark编程09——设置spark-submit提交程序时不在控制台打印日志信息+nohup 命令
SYITwin的博客
04-08 3836
在用spark-submit提交程序时，会打印很多类似图片所示的日志信息，它们会把想要的结果给淹没，所以要想法去除控制台的日志信息。 解决办法：程序中设置日志级别，然后将运行结果保存在nohup.out文件中 //程序中导入 import org.apache.log4j.{Level, Logger} //下面两行代码放在main函数里 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogge..
sparksql 操作hive_Spark sql操作Hive
weixin_36071315的博客
12-23 202
这里说的是最简便的方法，通过Spark sql直接操作hive。前提是hive-site.xml等配置文件已经在Spark集群配置好。val logger = LoggerFactory.getLogger(SevsSpark4.getClass)def main(args: Array[String]): Unit = {val sparkconf = new SparkConf().setAp...
SparkSQL整合Hive
最新发布
ABU009的博客
10-17 553
#spark-sql的整合hive的使用
sparksql--hive
suojie的博客
03-01 194
//与hive表进行连接： // 1.一种通过conf.set 设置或直接将hive配置hive-site.xml文件拷贝工程 // 2.加载mysql驱动 //从hive中读取数据，驱动不是SQLContext,而是HiveContext val hsc=new HiveContext(sc) //执行hql语句 hsc.sql("select * from hive.perso...
Spark SQL with Hive
热门推荐
OopsOutOfMemory盛利的博客
07-09 1万+
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。
SparkSQL之操作Hive
vincent_duan的专栏
03-29 2576
首先启动spark-shell: 命令：spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.35.jar --driver-class-path /home/iie4bu/software/mysql-connector-java-5.1.35.jar 查看当前有哪些表： spark.sql("show ...
Spark-SQL连接Hive
Aricya的博客
12-08 1059
Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言（HQL）等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说，最好还是在编译 Spark SQL 时引入 Hive支持，这样就可以使用这些特性了。
Spark SQL快速入门系列之Hive
微信搜：import_bigdata，大数据领域硬核原创作者
08-31 354
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！目录一.hive和spark sql...
Spark SQL和Hive SQL 的对比
代妈炼金术师
02-19 1246
总结来说，Hive SQL更侧重于构建大数据仓库解决方案，而Spark SQL则在保持与Hive兼容的基础上，提升了查询性能并增加了更多高级功能，如支持更丰富的数据源连接、实时处理能力以及与Scala/Java/Python API的高度集成。用户可以根据实际需求选择或结合使用两者来满足不同的数据分析任务。
Spark sql操作Hive
weixin_34290631的博客
12-11 323
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值