sparkSQL sparkSQL概述和特性

最新推荐文章于 2024-02-04 09:17:46 发布
最新推荐文章于 2024-02-04 09:17:46 发布
阅读量262 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/108519023
版权

sparkSQL概述和特性

sparkSQL的前世今生

hive ->翻译成sql->解析成MR
shark->翻译成sql>解析成spark任务

  • 在spark出现之前，Shark是专门针对于spark的构建大规模数据仓库系统的一个框架
  • Shark与Hive兼容、同时也依赖于Spark版本
  • Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务
  • 随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。
  • 最后Databricks公司终止对Shark的开发
    • 决定单独开发一个框架，不在依赖hive，把重点转移到了sparksql这个框架上。

什么是sparkSQL

SparkSQL是apache Spark用来处理结构化数据的一个模块。（必须是结构化数据，否则无法映射成一张表）

sparkSQL的四大特性

易整合

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PTNLnyxI-1599731054339)(spark_day04课程设计.assets/1569469087993.png)]

  • 将SQL查询与Spark程序无缝混合
  • 可以使用不同的语言进行代码开发
    • java
    • scala
    • python
    • R

统一的数据源访问

在这里插入图片描述

  • 以相同的方式连接到任何数据源

    • sparksql后期可以采用一种统一的方式去对接任意的外部数据源
    val  dataFrame = sparkSession.read.文件格式的方法名("该文件格式的路径")

兼容hive

在这里插入图片描述

  • sparksql可以支持hivesql这种语法 sparksql兼容hivesql

支持标准的数据库连接

在这里插入图片描述

  • sparksql支持标准的数据库连接JDBC或者ODBC
爱吃甜食_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkSql使用入门
01-07
1、和Spark Core的无缝集成，可以在写整个RDD应用的时候，配置Spark SQL来完成逻辑实现。 2、统一的数据访问方式，Spark SQL提供标准化的SQL查询。 3、Hive的继承，Spark SQL通过内嵌的hive或者连接外部已经部署好的...
阿里云 RemoteShuffleService 新功能：AQE和流控
weixin_45906054的博客
04-25 202
阿里云 EMR 自 2020 年推出 Remote Shuffle Service(RSS)以来，帮助了诸多客户解决 Spark 作业的性能、稳定性问题，并使得存算分离架构得以实施。为了更方便大家使用和扩展，RSS 在2022年初开源，欢迎各路开发者共建。RSS 的整体架构请参考[1]，本文将介绍 RSS 最新的两个重要功能：支持 Adaptive Query Execu...
Spark内容分享(二十九)：京东 Spark 自研 Remote Shuffle Service 在大促中的应用实践
之乎者也·的博客
01-03 1004
本文讨论了京东Spark计算引擎研发团队关于自主研发并落地Remote Shuffle Service，助力京东大促场景的探索和实践。近年来，大数据技术在各行各业的应用越来越广泛，Spark自UCBerkeley的AMP实验室诞生到如今3.0版本的发布，已有十年之久，俨然已经成为大数据计算领域名副其实的老将。虽经过不断的迭代和优化，Spark功能日趋成熟与完善，但在性能及稳定性方面，仍然还有很多可以提升的地方。Shuffle过程作为MapReduce编程模型的性能瓶颈，就是其中重点之一。
阿里云EMR Remote Shuffle Service在小米的实践
weixin_45906054的博客
01-20 233
阿里云EMR自2020年推出Remote Shuffle Service(RSS)以来，帮助了诸多客户解决Spark作业的性能、稳定性问题，并使得存算分离架构得以实施，与此同时RSS也在跟...
Spark学习（6）-Spark SQL
一个人的江湖
11-28 3000
在RDD阶段，程序的执行入口对象是：。在Spark 2.0后，推出了对象，作为Spark编码的统一入口对象。用于SparkSQL编程作为入口对象。用于SparkCore编程，可以通过SparkSession对象中获取到。所以，后续执行环境入口对象，统一变更为SparkSession对象。2.4 SparkSession对象。
大数据内容分享(十二)：腾讯大数据云原生化的思考与实践
之乎者也·的博客
01-05 891
而大数据因为数据计算量很大，会利用数据本地性加速任务的运行。这里以一个spark任务的执行为例，用户在Tenant集群提交一个Spark任务，在k8s集群上会启动了一个 driver pod，然后调度器会根据与该Tenant相关的所有物理集群负载情况进行调度，接着Syncer会把这个pod同步到物理集群上，物理资源启动以后会Pod status反向同步到Tenent，同时driver连接的API Server也会修改到Tenent的API master上，最后新申请的Executor Pod。
大数据技术之SparkSQL（超级详细）
热门推荐
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
01-11 2万+
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！
SparkSQL
我的笔记
02-23 6525
大数据自学笔记——spark学习笔记
Spark SQL
ytzhyp的博客
03-20 3576
新手入门文章
大数据技术之Spark——Spark SQL
five小点心的博客
04-06 5017
我们之前学习过hive，hive是一个基于hadoop的SQL引擎工具，目的是为了简化mapreduce的开发。由于mapreduce开发效率不高，且学习较为困难，为了提高mapreduce的开发效率，出现了hive，用SQL的方式来简化mapreduce：hive提供了一个框架，将SQL转换成mapreduce来执行。执行的效率不会因此提升，但开发效率会大大提高。
浅谈DataFrame和SparkSql取值误区
09-20
今天小编就为大家分享一篇浅谈DataFrame和SparkSql取值误区，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
SparkSql技术
08-16
1.1.2：Shark和sparkSQL 4 1.2：sparkSQL的性能 5 1.2.1：内存列存储（In-Memory Columnar Storage） 6 1.2.2：字节码生成技术（bytecode generation，即CG） 6 1.2.3：scala代码优化 7 二：sparkSQL运行架构 8 2.1...
SparkSQL入门级教程
06-19
本文讲述了Array、List、Map、本地磁盘文件、HDFS文件转化为DataFrame对象的方法；通过实际操作演示了dataFrame实例方法操作DataFrame对象、SQL语言操作DataFrame对象和ScalaAPI操作DataFrame对象
sparksql基础知识
05-02
sparksql简介 df的介绍 rdd转df df的一些基础操作
spark 开启ESS报 java.lang.IllegalArgumentException: Unknown message type: 10
weixin_48231806的博客
06-02 1004
spark external shuffle service 高版本不兼容低版本的shuffle服务
Spark Shuffle Service简介与测试
最新发布
跟着大数据和AI去旅行
02-04 1565
Spark Shuffle Service 简介与测试
Apache Celeborn在中通的探索实践
weixin_45906054的博客
12-14 394
随着公司业务体量不断发展，多个业务线依赖于大数据平台开展数据业务，大数据底层系统的稳定和高效成为了公司业务正常运转的基石。中通的大数据平台的基座依托于Hadoop，目前公司90%的ETL任务基于Spark-Sql引擎构建的，每天线上运行的 Spark任务有12w+，每天Shuffle产生的数据规模达6PB以上，同时单次Shuffle数据最大规模达数百TB以上，巨大的Shuffle数据量和复杂的计算...
Spark SQL：基本介绍(特点)
04-23 5849
Spark SQL官方介绍 官网:http://spark.apache.org/sql/ Spark SQL是Spark用来处理结构化数据的一个模块。 Spark SQL还提供了多种使用方式，包括DataFrames API和Datasets API但无论是哪种API或者是编程语言，它们都是基于同样的执行引擎，因此你可以在不同的API之间随意切换，它们各有各的特点。 Spark SQL 的特点...
sparksql和DSL
09-29
SparkSQL和DSL是Spark中用于查询和分析数据的两种不同的编程方式。 SparkSQL是一种用于处理结构化数据的模块，它使得可以像执行SQL查询一样使用Spark进行数据分析。它支持使用标准的SQL语法来操作和查询数据，并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值