Spark SQL概述，DataFrames,创建DataFrames的案例，DataFrame常用操作（DSL风格语法），sql风格语法

最新推荐文章于 2022-02-23 20:28:57 发布
最新推荐文章于 2022-02-23 20:28:57 发布
阅读量3.3k 收藏 14
点赞数
分类专栏： # Spark（大数据分析引擎） 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tototuzuoquan/article/details/74907124
版权

一、 Spark SQL

1． Spark SQL概述

1.1． 什么是Spark SQL

这里写图片描述
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。
1.2． 为什么要学习Spark SQL
我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！
1.易整合
这里写图片描述
2.统一的数据访问方式
这里写图片描述
3.兼容Hive
这里写图片描述
4.标准的数据连接
这里写图片描述

2． DataFrames

2.1． 什么是DataFrames

与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。从API易用性的角度上 看，DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低。由于与R和Pandas的DataFrame类似，Spark DataFrame很好地继承了传统单机数据分析的开发体验。
这里写图片描述

2.2． 创建DataFrames

连接spark-shell:

[root@hadoop1 spark-2.1.1-bin-hadoop2.7]# bin/spark-shell --master spark://hadoop1:7077,hadoop2:7077

在Spark SQL中SQLContext是创建DataFrames和执行SQL的入口，在spark-1.5.2中已经内置了一个sqlContext

1.在本地创建一个文件，有三列，分别是id、name、age，用空格分隔，然后上传到hdfs上
hdfs dfs -put person.txt /

person.txt的内容如下：

1 zhangsan 19
2 lisi 20
3 wangwu 28
4 zhaoliu 26
5 tianqi 24
6 chengnong 55
7 zhouxingchi 58
8 mayun 50
9 yangliying 30
10 lilianjie 51
11 zhanghuimei 35
12 lian 53
13 zhangyimou 54

2.在spark shell执行下面命令，读取数据，将每一行的数据使用列分隔符分割

scala> val lineRDD = sc.textFile("hdfs://mycluster/person.txt").map(_.split(" "))
lineRDD: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[2] at map at <console>:24

3.定义case class（相当于表的schema）

scala> case class Person(id:Int, name:String, age:Int)
defined class Person

4.将RDD和case class关联

scala> val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
personRDD: org.apache.spark.rdd.RDD[Person] = MapPartitionsRDD[3] at map at <console>:28

5.将RDD转换成DataFrame

scala> val personDF = personRDD.toDF
personDF: org.apache.spark.sql.DataFrame = [id: int, name: string ... 1 more field]

6.对DataFrame进行处理

scala> personDF.show
+---+-----------+---+
| id|       name|age|
+---+-----------+---+
|  1|   zhangsan| 19|
|  2|       lisi| 20|
|  3|     wangwu| 28|
|  4|    zhaoliu| 26|
|  5|     tianqi| 24|
|  6|  chengnong| 55|
|  7|zhouxingchi| 58|
|  8|      mayun| 50|
|  9| yangliying| 30|
| 10|  lilianjie| 51|
| 11|zhanghuimei| 35|
| 12|       lian| 53|
| 13| zhangyimou| 54|
+---+-----------+---+

3.DataFrame常用操作

3.1 DSL风格语法

1.查看DataFrame中的内容

scala> personDF.show
+---+-----------+---+
| id|       name|age|
+---+-----------+---+
|  1|   zhangsan| 19|
|  2|       lisi| 20|
|  3|     wangwu| 28|
|  4|    zhaoliu| 26|
|  5|     tianqi| 24|
|  6|  chengnong| 55|
|  7|zhouxingchi| 58|
|  8|      mayun| 50|
|  9| yangliying| 30|
| 10|  lilianjie| 51|
| 11|zhanghuimei| 35|
| 12|       lian| 53|
| 13| zhangyimou| 54|
+---+-----------+---+

2.查看DataFrame部分列中的内容

scala> personDF.select(personDF.col("name")).show
+-----------+
|       name|
+-----------+
|   zhangsan|
|       lisi|
|     wangwu|
|    zhaoliu|
|     tianqi|
|  chengnong|
|zhouxingchi|
|      mayun|
| yangliying|
|  lilianjie|
|zhanghuimei|
|       lian|
| zhangyimou|
+-----------+
scala> personDF.select(col("name"),col("age")).show
+-----------+---+
|       name|age|
+-----------+---+
|   zhangsan| 19|
|       lisi| 20|
|     wangwu| 28|
|    zhaoliu| 26|
|     tianqi| 24|
|  chengnong| 55|
|zhouxingchi| 58|
|      mayun| 50|
| yangliying| 30|
|  lilianjie| 51|
|zhanghuimei| 35|
|       lian| 53|
| zhangyimou| 54|
+-----------+---+
scala> personDF.select("name").show
+-----------+
|       name|
+-----------+
|   zhangsan|
|       lisi|
|     wangwu|
|    zhaoliu|
|     tianqi|
|  chengnong|
|zhouxingchi|
|      mayun|
| yangliying|
|  lilianjie|
|zhanghuimei|
|       lian|
| zhangyimou|
+-----------+

3.打印DataFrame的Schema信息

scala> personDF.printSchema
root
 |-- id: integer (nullable = true)
 |-- name: string (nullable = true)
 |-- age: integer (nullable = true)

4. 查询所有的name和age，并将age +1

scala> personDF.select(col("id"),col("name"),col("age") + 1).show
+---+-----------+---------+
| id|       name|(age + 1)|
+---+-----------+---------+
|  1|   zhangsan|       20|
|  2|       lisi|       21|
|  3|     wangwu|       29|
|  4|    zhaoliu|       27|
|  5|     tianqi|       25|
|  6|  chengnong|       56|
|  7|zhouxingchi|       59|
|  8|      mayun|       51|
|  9| yangliying|       31|
| 10|  lilianjie|       52|
| 11|zhanghuimei|       36|
| 12|       lian|       54|
| 13| zhangyimou|       55|
+---+-----------+---------+
scala> personDF.select(personDF("id"),personDF("name"),personDF("age") + 1).show
+---+-----------+---------+
| id|       name|(age + 1)|
+---+-----------+---------+
|  1|   zhangsan|       20|
|  2|       lisi|       21|
|  3|     wangwu|       29|
|  4|    zhaoliu|       27|
|  5|     tianqi|       25|
|  6|  chengnong|       56|
|  7|zhouxingchi|       59|
|  8|      mayun|       51|
|  9| yangliying|       31|
| 10|  lilianjie|       52|
| 11|zhanghuimei|       36|
| 12|       lian|       54|
| 13| zhangyimou|       55|
+---+-----------+---------+

5. 过滤age大于等于40的

scala> personDF.filter(col("age") >= 40).show

这里写图片描述

6. 按年龄进行分组并统计相同年龄的人数

scala> personDF.groupBy("age").count.show()
+---+-----+                                                                     
|age|count|
+---+-----+
| 53|    1|
| 28|    1|
| 26|    1|
| 20|    1|
| 54|    1|
| 19|    1|
| 35|    1|
| 55|    1|
| 51|    1|
| 50|    1|
| 24|    1|
| 58|    1|
| 30|    1|
+---+-----+

3.2 SQL风格语法：

  1. 在使用SQL的语法之前，需要先执行（也就是或先创建一个sqlContext）：
scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)
warning: there was one deprecation warning; re-run with -deprecation for details
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@11fb9fc7
  1. 如果想使用SQL风格的语法，需要将DataFrame注册成表
scala> personDF.registerTempTable("t_person")
warning: there was one deprecation warning; re-run with -deprecation for details
  1. 查询年龄最大的前两名
scala> sqlContext.sql("select * from t_person order by age desc limit 2").show
+---+-----------+---+                                                           
| id|       name|age|
+---+-----------+---+
|  7|zhouxingchi| 58|
|  6|  chengnong| 55|
+---+-----------+---+
  1. 显示表的Schema信息
scala> sqlContext.sql("desc t_person").show
+--------+---------+-------+
|col_name|data_type|comment|
+--------+---------+-------+
|      id|      int|   null|
|    name|   string|   null|
|     age|      int|   null|
+--------+---------+-------+


scala>
7.保存结果
result.save("hdfs://hadoop.itcast.cn:9000/sql/res1")
result.save("hdfs://hadoop.itcast.cn:9000/sql/res2", "json")

#以JSON文件格式覆写HDFS上的JSON文件
import org.apache.spark.sql.SaveMode._
result.save("hdfs://hadoop.itcast.cn:9000/sql/res2", "json" , Overwrite)

8.重新加载以前的处理结果（可选）
sqlContext.load("hdfs://hadoop.itcast.cn:9000/sql/res1")
sqlContext.load("hdfs://hadoop.itcast.cn:9000/sql/res2", "json")
涂作权的博客
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Spark(22) -- Spark SQL -- DataFrame常用操作(DSL风格、SQL风格及花式查询汇总)
erainm
10-06 758
1. DSL风格语法 1.1 查看DataFrame当中的数据 1.2 查看DataFram当中部分字段的数据 1.3 第三种方式查看name和age字段数据 1.4 第四种方式查看字段数据 2. SQL风格语法 2.1 将DataFrame注册成表 2.2 查询年龄最大的前两名 2.3 显示表的Schema信息 2.4 查询年龄大于30的人的信息 3. scala版DataFrame的常用操作 3.1 基于SparkSQL的DSL的领域查询语言风格查询 3.2 基于SQL风格查询方法[企业级SQL开发]
Spark SQL之RDD, DataFrame, DataSet详细使用
congge_study的博客
05-02 2万+
Spark SQL之RDD, DataFrame, DataSet详细使用
Spark-SQL DataFrame
crazyhulu的博客
05-11 1022
Spark SQL的特点 1、支持多种数据源：Hive、RDD、Parquet、JSON、JDBC等。 2、多种性能优化技术：in-memory columnar storage、byte-code generation、cost model动态评估等。 3、组件扩展性：对于SQL的语法解析器、分析器以及优化器，用户都可以自己重新开发，并且动态扩展。 Spark SQL的性能优化技术简介 ...
《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南（三）
weixin_33749242的博客
05-19 166
JSON数据集 Scala Java Python R Sql Spark SQL在加载JSON数据的时候，可以自动推导其schema并返回DataFrame。用SQLContext.read.json读取一个包含String的RDD或者JSON文件，即可实现这一转换。 注意，通常所说的json文件只是包含一些json数据的文件，而不是我们所需要...
Spark SQL and DataFrames
博客&brz
11-09 638
Spark SQL and DataFrames Spark SQL Spark SQL概述 什么是Spark SQL？ SparkSQL是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrames，并且作为分布式SQL查询引擎的作用。 为什么要学SparkSQL? SparkSQL将Spark SQL转换为RDD，然后提交到集群执行，执行效率非常快，比如hive是将hi...
[Spark2.0]Spark SQL, DataFrames 和Datasets指南
yhao2014的专栏
08-16 7430
综述         Spark SQL是Spark提供的针对结构化数据处理的模块。不同于基本的Spark RDD API，SparkSQL提供的接口提供了更多的关于数据和计算执行的信息。在内部，SparkSQL使用这些额外信息完成额外的优化。这里有几种方式可以和SparkSQL相互操作，包括SQL和Dataset API。计算结果的时候使用相同的执行          本页中所有示例使
spark sql 创建dataframes
Dean Chen的专栏
11-11 3671
Table of Contents1. spark sql2. SQLContext2.1. sql context是spark sql的所有功能入口点2.2. 通过spark context创建sql context2.3. hive context功能上多于sql context，未来sql context也会增加功能3. DataFrames3.1. 功能3.2. 创建DataFrames3
Spark-SQL中的DataFrame|SQL风格语法|DSL风格语法|RDD转换为DataFrame|手动转换|样例类反射转换|DataFrame转换为RDD
SmallScorpion
04-22 462
DataFrame Spark SQL的DataFrame API 允许我们使用 DataFrame 而不用必须去注册临时表或者生成SQL表达式。DataFrame API 既有transformation操作也有action操作，DataFrame的转换从本质上来说更具有关系， 而 DataSet API 提供了更加函数式的 API 创建DataFrame 在Spark SQL中Spark...
Spark SQL数据操作的两种风格语法
weixin_45568872的博客
02-13 554
前提工作 创建SparkSession import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("Spark SQL basic example") .config("spark.some.config.option", "some-value") .getOrCreat...
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
09-20
今天小编就为大家分享一篇pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
SparkSQL 经典案例(SQL&DSL)风格详解
Dream_aju的博客
10-26 849
案例一：连续活跃用户案例 #SQL风格 import org.apache.spark.sql.catalyst.plans.logical.Window import org.apache.spark.sql.{DataFrame, SparkSession} //连续活跃用户案例 //求连续登录天数大于或等于两天的用户记录 object ContenueActiveUser_SQL { def main(args: Array[String]): Unit = { //获取
Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例）
奇迹虎虎的博客
02-23 2988
Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例），SQL风格先把DataFrame注册成一个临时视图，DSL风格其实就是DataFrame对象调用API的过程。
SparkSQL DSL语法大全
manweizhizhuxia的博客
02-06 2180
object DataSetDemo1 { def main(args: Array[String]): Unit = { val session = SparkSession.builder() .master("local") .appName(this.getClass.getSimpleName) .getOrCreate() imp...
pandas使用to_sql方法将dataframe注册为数据库表进行数据整合和数据清洗并不对比SQL操作和dataframe操作
data+scenario+science+insight
07-03 252
pandas使用to_sql方法将dataframe注册为数据库表进行数据整合和数据清洗并不对比SQL操作和dataframe操作 SQLite 是一个软件库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是在世界上最广泛部署的 SQL 数据库引擎。SQLite 源代码不受版权限制。 SQLAlchemy是用Python编程语言开发的一个开源项目。它提供了SQL工具包和ORM（对象关系映射）工具，使用MIT许可证发行。 SQLAlchemy最初
SparkSQL--DSL风格API(TableApi)语法
JinVijay的博客
01-14 1915
DSL(DataSet Language)风格API，就是编程API的方式，来实现SQL语法 DSL：特定领域语言 DataSet的TableApi有一个特点：运算后返回值必回到DataFrame 因为select后，得到的结构，无法判断返回值的具体类型，只能用通用的Row封装 TableAPI基本操作 数据准备 id,name,age,city,score 1,张三,21,BJ,80.0 2,李四,23,BJ,82.0 3,王五,20,SH,88.6 4,赵六,26,SH,83.0 5,..
Spark-SQL之DataFrame操作
kwame211的博客
05-31 291
　　dycopy :http://blog.csdn.net/dabokele/article/details/52802150　Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。　　本文中的代码基于Spark-1.6.2的文档实现。一...
学习笔记Spark（七）—— Spark SQL应用（2）—— Spark DataFrame基础操作
别呀的博客
10-10 1978
二、Spark DataFrame基础操作 2.1、DataFrame DataFrame是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。 数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。 RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。 ...
SparkSQL DSL开发
weixin_40652340的博客
01-30 2640
import org.apache.spark.sql.SQLContext import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} case class Person
Spark SQL DataFrame读写实践：load与save操作详解
Spark SQL数据加载和保存实例讲解是一篇关于Apache Spark SQL操作DataFrame的实用教程。Spark SQL是Apache Spark的一个重要组件，它允许用户在结构化数据上进行高级查询，通过DataFrame对象进行数据处理。DataFrame...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涂作权的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值