Spark总结（SparkSQL）

最新推荐文章于 2024-01-02 16:12:03 发布
VIP文章 最新推荐文章于 2024-01-02 16:12:03 发布
阅读量653 收藏
点赞数
分类专栏： spark 文章标签： SparkSQL概念
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43681796/article/details/89501089
版权

 

什么是SaparkSQL？

SaprkSQL是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataSet并且作为分布式SQL查询引擎的作用。

 

SparkSQL的由来

我们学过Hive，它是将Hive SQL转化为MapReduce然后提交集群上去运行，大大简化了编写MapReduce的程序的复杂性，但是由于计算的时候效率比较慢。所以SparkSql应运而生（刚开始的时候叫shark），SaprkSQL将Spark SQL转化为RDD，然后提交集群执行，执行效率很快。

Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。

 

SparkSQL和Hive的效率比较

SparkSQL是兼容Hive语法的SQL执行引擎，由于底层计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，如果全部加载到内存的话，将快10倍以上。

SparkS

最低0.47元/天 解锁文章
花掏尽
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark：SparkSQL学习总结
Jodness' Blogs
08-06 2118
目录 1、SparkSQL概述 1.1、SparkSQL是什么 1.2、Spark SQL 的特点 1.3、RDD/DataFrame/DataSet 1.3.1、RDD 1.3.2、DataFrame 1.3.3、DataSet 1.3.4、三者的共同点/区别 1.4、SparkSQL执行流程 2、SparkSQL查询解析 2.1、SparkSession 2.2、Dat...
Spark SQL 实验
08-27
Spark SQL 详细介绍 实验介绍 有需要的尽快下载吧
大数据技术之Spark——Spark SQL
five小点心的博客
04-06 4739
我们之前学习过hive，hive是一个基于hadoop的SQL引擎工具，目的是为了简化mapreduce的开发。由于mapreduce开发效率不高，且学习较为困难，为了提高mapreduce的开发效率，出现了hive，用SQL的方式来简化mapreduce：hive提供了一个框架，将SQL转换成mapreduce来执行。执行的效率不会因此提升，但开发效率会大大提高。
SparkSql技术
08-16
目录 一：为什么sparkSQL？ 3 1.1：sparkSQL的发展历程 3 1.1.1：hive and shark 3 1.1.2：Shark和sparkSQL 4 1.2：sparkSQL的性能 5 1.2.1：内存列存储（In-Memory Columnar Storage） 6 1.2.2：字节码生成技术（bytecode generation，即CG） 6 1.2.3：scala代码优化 7 二：sparkSQL运行架构 8 2.1：Tree和Rule 9 2.1.1：Tree 10 2.1.2：Rule 10 2.2：sqlContext的运行过程 12 2.3：hiveContext的运行过程 14 2.4：catalyst优化器 16 三：sparkSQL组件之解析 17 3.1：LogicalPlan 18 3.2：SqlParser 20 3.1.1：解析过程 20 3.1.2：SqlParser 22 3.1.3：SqlLexical 25 3.1.4：query 26 3.3：Analyzer 26 3.4：Optimizer 28 3.5：SpankPlan 30 四：深入了解sparkSQL运行计划 30 4.1：hive/console安装 30 4.1.1：安装hive/cosole 30 4.1.2：hive/console原理 31 4.2：常用操作 32 4.2.1 查看查询的schema 32 4.2.2 查看查询的整个运行计划 33 4.2.3 查看查询的Unresolved LogicalPlan 33 4.2.4 查看查询的analyzed LogicalPlan 33 4.2.5 查看优化后的LogicalPlan 33 4.2.6 查看物理计划 33 4.2.7 查看RDD的转换过程 33 4.2.8 更多的操作 34 4.3：不同数据源的运行计划 34 4.3.1 json文件 34 4.3.2 parquet文件 35 4.3.3 hive数据 36 4.4：不同查询的运行计划 36 4.4.1 聚合查询 36 4.4.2 join操作 37 4.4.3 Distinct操作 37 4.5：查询的优化 38 4.5.1 CombineFilters 38 4.5.2 PushPredicateThroughProject 39 4.5.3 ConstantFolding 39 4.5.4 自定义优化 39 五：测试环境之搭建 40 5.1：虚拟集群的搭建（hadoop1、hadoop2、hadoop3） 41 5.1.1：hadoop2.2.0集群搭建 41 5.1.2：MySQL的安装 41 5.1.3：hive的安装 41 5.1.4：Spark1.1.0 Standalone集群搭建 42 5.2：客户端的搭建 42 5.3：文件数据准备工作 42 5.4：hive数据准备工作 43 六：sparkSQL之基础应用 43 6.1：sqlContext基础应用 44 6.1.1：RDD 44 6.1.2：parquet文件 46 6.1.3：json文件 46 6.2：hiveContext基础应用 47 6.3：混合使用 49 6.4：缓存之使用 50 6.5：DSL之使用 51 6.6：Tips 51 七：ThriftServer和CLI 51 7.1：令人惊讶的CLI 51 7.1.1 CLI配置 52 7.1.2 CLI命令参数 52 7.1.3 CLI使用 53 7.2：ThriftServer 53 7.2.1 ThriftServer配置 53 7.2.2 ThriftServer命令参数 54 7.2.3 ThriftServer使用 54 7.3：小结 56 八：sparkSQL之综合应用 57 8.1：店铺分类 57 8.2：PageRank 59 8.3：小结 61 九：sparkSQL之调优 61 9.1：并行性 62 9.2： 高效的数据格式 62 9.3：内存的使用 63 9.4：合适的Task 64 9.5：其他的一些建议 64 十：总结 64
SparkSQL基础知识总结
02-24
一个sql过来解析成unresolved，只拿出来字段名和表名但是不知道字段名和表名在哪个位置需要通过Schema确定表的位置等信息，生成逻辑执行计划，Logical,知道数据从哪里来了通过一些列优化过滤生成物理执行计划Physical最后把物理执行计划放到spark集群上运行SparkSQL就是写SQL,这是错误的观点SparkSQL不是SQL,超出SQL,因为SQL是其一部分SparkSQL是处理结构化数据的，只是Spark中的一个模块SparkSQL与HiveonSpark不是一个东西SparkSQL是spark里面的HiveonSpark的功能是比SparkSQL多的HiveonSpa
SparkSQL相关语句总结.docx
04-29
SparkSQL相关语句总结，个人学习文档，值得拥有
spark sql是如何比较复杂数据类型的？该如何利用呢？
xiaoluobutou的专栏
02-15 480
大家对简单数据类型的比较都很清楚，但是针对array、map、struct这些复杂类型，spark sql是否支持比较呢？都是怎么比较的？我们该怎么利用呢？
大数据技术之SparkSQL（超级详细）
热门推荐
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
01-11 2万+
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！
大数据笔记--SparkSQL（第一篇）
我睡觉的时候不困
04-18 1219
一、Spark Sql 1、概述 Spark为了结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame（数据框）的编程抽象，DF的底层仍然是RDD，并且可以充当分布式SQL查询引擎。 2、由来 SparkSQL的前身是Shark。在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，是当时唯一运行在hadoop上的SQL-on-Hadoop工具。但是，MapReduce计算过程中大量的中间磁盘落
【SparkSQL笔记】SparkSQL的入门实践教程（一）
菜鸟sdut的博客
12-08 2612
1.Spark SQL概述 Spark SQL是用于处理结构化数据的模块。与Spark RDD不同的是，Spark SQL提供数据的结构信息(源数据)和性能更好，可以通过SQL和DataSet API与Spark SQL进行交互。 2.Spark SQL编程入门 Spark SQL模块的编程主入口点是SparkSession，SparkSession对象不仅为用户提供了创建DataFrame对象、...
实验5 Spark SQL 编程初级实践
qq_45952294的博客
05-14 8201
实验5 Spark SQL 编程初级实践 一、实验目的 （1）通过实验掌握Spark SQL的基本编程方法。 （2）熟悉RDD到DataFrame的转化方法。 （3）熟悉利用Spark SQL管理来自不同数据源的数据。 二、实验平台 操作系统：Linux Spark版本：2.4.5 scala版本：2.11.8 三、实验内容和要求 1.Spark SQL基本操作 将下列JSON格式数据复制到Linux系统中，并保存命名为employee.json。 文件内容如下： { “id”:1 , “name”:" E
Spark-Java-Study:使用Java实现的Spark、SparkSQL、SparkStreaming、StructuredStreaming学习总结
04-08
Spark-Java-Study 使用Java实现的Spark、SparkSQL、SparkStreaming、StructuredStreaming的学习代码
Hive/SparkSQL中Map、Array的基本使用和转换
最新发布
TRX的博客
01-02 1260
语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。
Spark SQL 内置函数（二）Map Functions（基于 Spark 3.2.0）
Shockang的博客
11-21 7104
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 element_at(array, index) 描述 返回 array 中下标为 index 的元素（数组下标从 1 开始）。 如果下标小于 0，从后向前计算，即 -1 代表数组中的最后一个元素。 如果索引大于数组长度或者spark.sql.ansi.enabled 设置成 false，则函数返回 N
SparkSQL 总结
机械工程跑路哥
09-08 1861
Spark SQL 是Spark 用于结构化数据(structured data)处理的 Spark 模块。
Spark SQL实验小结（2022.4.10）
weixin_45823693的博客
04-10 3048
Spark SQL实验小结
Spark SQL 编程总结
weixin_43520450的博客
09-14 1144
SparkSQL 编程一、SparkSession 新的起始点二、DataFrame2.1 创建2.2 SQL 风格语法(主要)2.3 DSL 风格语法(次要)2.4 RDD 转换为 DateFrame2.5 DateFrame 转换为 RDD三、DataSet3.1 创建3.2 RDD 转换为 DataSet3.3 DataSet 转换为 RDD四、DataFrame 与 DataSet 的互操作4.1 DataFrame 转 Dataset4.2 Dataset 转 DataFrame五、RDD、Dat
Spark 官方文档（5）——Spark SQL，DataFrames和Datasets 指南
bigbigtree
07-21 8185
Spark版本：1.6.2 概览Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互，无论使用何种方式，SparkSQL使用统一的执行引擎记性处理。
实验六：Spark Spark SQL实验
qq_56437391的博客
04-09 2659
学习目标： 熟悉 Spark SQL 的使用方法。 学习内容： 类似于关系型数据库，SparkSQL也是语句也是由Projection（a1，a2， a3）、Data Source（tableA）、Filter（condition）组成，分别对应sql查询过 程中的Result、DataSource、Operation，也就是说SQL语句按Result-->Data Source-->Operation的次序来描述的。 执行Spark SQL语句的顺序为： 1.对读入的SQL语句进行解析（
总结：hive，hive on spark和sparksql区别
03-16
Hive on Spark是将Hive与Spark结合起来使用，以提高查询性能和扩展性。Spark SQL是Spark的一个模块，它提供了一种使用SQL查询数据的方式，可以直接读取Hive表和其他数据源。因此，Hive和Spark SQL都可以用来查询和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值