spark--Spark SQL概述-★

最新推荐文章于 2024-07-11 11:24:31 发布
最新推荐文章于 2024-07-11 11:24:31 发布
阅读量171 收藏
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46893497/article/details/113926366
版权
SparkSQL是Apache Spark的一部分，旨在提供一种统一的方式来处理结构化、半结构化数据，支持代码命令风格和SQL风格的数据分析。它不是Spark的初始组件，而是在不断发展中成熟。SparkSQL适用于结构化和部分半结构化数据，对于非结构化数据需先进行结构化处理。官方介绍强调其在数据处理和查询方面的强大功能。
摘要由CSDN通过智能技术生成

Spark SQL概述-★

数据分析方式

  • 有如下的两种方式,各有优缺点:

  • 1.代码命令风格:

    • 就是之前写的RDD/MapReduce之类的代码
    • 灵活/操作粒度细/支持复杂操作
    • 入门门槛高需要会一门编程语言
    • 实现机器学习较为方便
    • …

  • 2.SQL风格:

    • 就是之前写的HiveSQL之类的sql语句
    • 简单sql容易理解,入门门槛低,会sql就行
    • 复杂sql不容易理解
    • 很难实现机器学习
    • …

  • 但是对于一个功能完善/成熟的大数据框架来说,肯定是想着不光要支持代码命令风格,还要支持SQL风格

  • 所以Spark框架就推出了SparkSQL模块来实现上面两种操作方式的实现

  • 但是SparkSQL的诞生历史没有那么顺利,走了很多弯路

SparkSQL的发展史

  • SparkSQL不是Spark框架一诞生就有的
  • 而是在后续的发展过程中逐渐完善的,发展到我们现在使用的Spark2.2.0,SparkSQL已经趋于稳定了,功能也十分强大了
    在这里插入图片描述

数据分类

结构化数据

  • 类似于数据库表,有固定的约束Schema(有固定的列名和类型约束)
    在这里插入图片描述

半结构数据

  • 如下面的json就是半结构化数据,没有固定的Schema(如类型不固定,字段不固定)
    在这里插入图片描述

非结构化数据

  • 图片、视频、音频。。。。这些都是非结构化数据

SparkSQL适用场景

  • 注意:
    • SparkSQL的应用场景主要是结构化数据和 较为规范的半结构化数据
    • 而对于非结构化数据SparkSQL不能够直接处理,除非先对他们进行结构化处理再使用SparkSQL

Spark SQL官方介绍

http://spark.apache.org/sql/

在这里插入图片描述
在这里插入图片描述

韩家小志
关注
专栏目录
Sparksql
努力努力再努力的博客
10-24 241
Sparksql 1 加载文件 rdd: sc.testfile dataFrame:spark.read.text dataset:spark.read.textFile package chapter5 import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} object Demo { de
SparkSql
superWe的博客
04-15 361
SparkSql 1.sparkSQL概述 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。它是sparkSQL的底层抽象 有多种方式去使用Spark SQL，包括SQL、DataFrames API和Datasets API。但无论是哪种API或者是编程语言，它们都是基于同样的执行引擎. ...
Spark SQL
programmerDingl的博客
10-13 325
Spark SQL Spark SQL是构建在Spark RDD之上一款ETL（Extract Transformation Load）工具（类似Hive-1.x-构建在MapReduce之上）。同Spark RDD 不同地方在于Spark SQL的API可以给Spark计算引擎提供更多的信息（计算数据结构、转换算子），Spark计算引擎可以根据SparkSQL提供的信息优化底层计算任务。目前为...
Spark SQL 概述
最新发布
weixin_74292291的博客
07-11 1395
架构、特点、运行原理、API 相关概述、依赖、数据集、基本用法
SparkSQL 与 Spark Core的关系
weixin_34248118的博客
04-09 433
    　　 　　Spark SQL构建在Spark Core之上，专门用来处理结构化数据(不仅仅是SQL)。即Spark SQL是Spark Core封装而来的！ 　　Spark SQL在Spark Core的基础上针对结构化数据处理进行很多优化和改进， 　　简单来讲： 　　　　Spark SQL 支持很多种结构化数据源，可以让你跳过复杂的读取过程，轻松从各种数据源中读取数据。 　...
SparkSQL
我的笔记
02-23 8975
大数据自学笔记——spark学习笔记
spark-assembly-1.5.2-hadoop2.6.0.jar
12-21
1. Spark概述： Spark是一个开源的并行计算框架，由Apache基金会维护，旨在提供快速、通用且可扩展的数据处理能力。它支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）以及机器学习...
解决CDH内嵌Spark版本不支持spark-sql的方案
阿啄debugIT
02-15 2983
1.概述 CDH内嵌Spark版本不支持spark-sql,因为cloudera在推自己的impala，但是有些场景需要用到Spark-sql时，比如Kylin企业版想要加快构建需要用到SparkSQL，大概的思路就是换jar包，很多资料，千篇一律是要加入hive&hivethriftserver重新编译源码再打成jar才能支持，其实我们只需要到官网去把编译好的spark包下下来，直接替...
spark-sql总结
CharlesDavid
12-31 366
spark-sql总结 文章目录spark-sql总结1、Spark SQL 概述2、DataFrame2.1 介绍2.2 创建DataFrame2.3 DataFrame API实现3、JSON数据的处理3.1 介绍3.2 实践静态json数据的读取和操作动态json数据的读取和操作4、数据清洗 1、Spark SQL 概述 Spark SQL概念 Spark SQL is Apache Spark’s module for working with structured data. 它是spark中
scala-spark-tutorial：詹姆斯的Apache Spark项目与Scala课程
02-05
**Apache Spark与Scala教程概述** 本教程专注于使用Scala编程语言操作大数据的Apache Spark框架。James的Scala Spark教程旨在为开发者提供一个深入理解Spark核心概念、数据处理能力以及如何结合Scala的强大功能来...
vagrant-spark-playground：使用Vagrant的Apache Spark集群模拟
02-06
**二、Apache Spark概述** Apache Spark是一个开源的大数据处理框架，其核心特点是提供了内存计算，显著提高了数据处理速度。Spark支持批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）和机器学习库...
[大数据]Spark(3)SparkSQL(1)
RegulusF的博客
07-23 357
1. SparkSQL概述 1.1 SparkSQL Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 与基本的Spark RDD API不同，Spark SQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。 在内部，Spark SQL使用这些额外的信息去做一些额外的优化，有多种方式与Spark SQL进行交互，比如: SQL和DatasetAPI。 当计算结果的时候，使用的是相同的执行引擎，不依赖你正在使用哪种API或者语言。这
Spark Sql
健身看书环游世界
06-01 175
RDD,DataFrame,DataSet 三者联系 首先在spark2.0版本中，已经移除了DataFrame，成为了DataSet的一个约定例如 DataFrame=DataSet【ROW】 三者的区别： RDD 就像 一个类名调用一样，就像people类，user类，可以清楚每个元素的元素类型 ，不清楚元素内部的具体属性信息 DataFrame 每个元素都是ROW类型，可以清楚元素内部的属性信息，但是不清楚每个属性是属于什么类型，例如String，Int类型，在需要泛型的时候有用。 DataSet
spark ----spark 核心概述
03-16
Spark还提供了许多高级API和库，如Spark Streaming、Spark SQL、MLlib和GraphX等，可以用于实现流处理、SQL查询、机器学习和图形计算等应用。Spark的优点包括高性能、易用性、灵活性和可扩展性，因此在大数据处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值