SparkSQL DataFrame和Dataset基本操作

最新推荐文章于 2023-08-11 16:05:31 发布
最新推荐文章于 2023-08-11 16:05:31 发布
阅读量741 收藏 2
点赞数
分类专栏： Spark 文章标签： spark dataframe dataset 基本操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33713328/article/details/89682989
版权
1.正常打印输出
1）创建SparkSession
val spark=SparkSession.builder().appName("dfdemo")
      .master("local[*]")
      .getOrCreate()
2）准备创建RDD
val personList: List[Person] = List(
    Person("1", "jack", 22),
    Person("2", "radrek", 23),
    Person("3", "memo", 26),
    Person("3", "micorekeys", 31),
    Person("4", "mike", 30),
    Person("5", "miki", 21),
    Person("6", "kitty", 22),
    Person("7", "beam", 24),
    Person("8", "jack", 22),
    Person("9", "hancksom", 24),
    Person("10", "herry", 32),
    Person("11", "kily", 37),
    Person("12", "tom", 34),
    Person("13", "sam", 32),
    Person("14", "lily", 27),
    Person("15", "mary", 23),
    Person("16", "john", 26),
    Person("17", "jom", 24),
    Person("18", "vico", 21)
)
val pRDD: RDD[Person] = spark.sparkContext.parallelize(personList)
3）导入隐式转换然后将RDD转换为DataFrame
import spark.implicits._
val pdf=pRDD.toDF()
4）展示
pdf.show()
// pdf.show(rowNumber,是否不需要显示全部列)  //参数1：显示记录数，记录比较多时，默认只显示20条，参数2：是否不全部显示

显示如下

+---+----------+---+
|id |name      |age|
+---+----------+---+
|1  |jack      |22 |
|2  |radrek    |23 |
|3  |memo      |26 |
|3  |micorekeys|31 |
|4  |mike      |30 |
|5  |miki      |21 |
|6  |kitty     |22 |
|7  |beam      |24 |
|8  |jack      |22 |
|9  |hancksom  |24 |
|10 |herry     |32 |
|11 |kily      |37 |
|12 |tom       |34 |
|13 |sam       |32 |
|14 |lily      |27 |
|15 |mary      |23 |
|16 |john      |26 |
|17 |jom       |24 |
|18 |vico      |21 |
+---+----------+---+
5）样例类
case class Person(id:String,name:String,age:Int)
4.toDF转DataFrame
toDF()  // 转为DataFrame
toDF(列名重命名)
// toDF("sid","username","age")
// 对上面的加载做列名的重命名   pRDD.toDF("sid","username","age").show(false)
+---+----------+---+
|sid|username  |age|
+---+----------+---+
|1  |jack      |22 |
|2  |radrek    |23 |
|3  |memo      |26 |
|3  |micorekeys|31 |
|4  |mike      |30 |
|5  |miki      |21 |
|6  |kitty     |22 |
|7  |beam      |24 |
|8  |jack      |22 |
|9  |hancksom  |24 |
|10 |herry     |32 |
|11 |kily      |37 |
|12 |tom       |34 |
|13 |sam       |32 |
|14 |lily      |27 |
|15 |mary      |23 |
|16 |john      |26 |
|17 |jom       |24 |
|18 |vico      |21 |
+---+----------+---+
5.创建临时表
1）createTempView
pdf.createTempView("person")
2）createOrReplaceView
pdf.createOrReplaceView("psn")  //如果临时表存在则不操作，否则重新创建历史表
3）createGlobalTempView创建全局临时表

即这个临时表作用范围在整个个应用程序上

4）createGlobalOrReplaceView

创建全局临时表在整个不同SparkSession间

6.DataFrame基本操作
1）select查询
pdf.select("sid","username").show()  // 选择查询的列，相当于SQL中的select语句
2）where条件
pdf.where(new Column("age").>(23)).show(false) //确定限制条件，同SQL中的where子句
3）混合使用
pdf.select("age").groupBy("age").count().sort($"count".desc).show()

按年龄分组统计人数及按照人数降序排列

7.编程模型的创建
1）DataFrame的创建
① JavaBean+反射

采用lombok----不过使用全部带参的构造器的时候有点问题，就只能自己手写了，因此没有使用@AllArgsConstructor注解

package com.mycat.spark;

import lombok.Getter;
import lombok.NoArgsConstructor;
import lombok.Setter;

import java.io.Serializable;

@NoArgsConstructor
public class Person2 implements Serializable {
    @Getter
    @Setter
    private String id;
    @Getter
    @Setter
    private String name;
    @Getter
    @Setter
    private Integer age;

    public Person2(String id, String name, Integer age) {
        this.id = id;
        this.name = name;
        this.age = age;
    }
}

采用工具类

val spark=SparkSession.builder().appName("dfdemo")
      .master("local[*]")
      .getOrCreate()
    val listPerson = List(
      new Person2("12", "tom", 34),
      new Person2("13", "sam", 32),
      new Person2("14", "lily", 27),
      new Person2("15", "mary", 23),
      new Person2("16", "john", 26)
    )
    val jList=JavaConversions.seqAsJavaList(listPerson)
    val df = spark.createDataFrame(jList,classOf[Person2])
    
    df.show(false)

RDD方式

val spark=SparkSession.builder().appName("dfdemo")
      .master("local[*]")
      .getOrCreate()
val listPerson = List(
  new Person2("12", "tom", 34),
  new Person2("13", "sam", 32),
  new Person2("14", "lily", 27),
  new Person2("15", "mary", 23),
  new Person2("16", "john", 26)
)
val jList=JavaConversions.seqAsJavaList(listPerson)
val df = spark.createDataFrame(jList,classOf[Person2])

pDF.show(false)
② 动态编程方式
case class Person(var id:String,var name:String,var age:Int)

Row

val spark=SparkSession.builder().appName("dfdemo")
      .master("local[*]")
      .getOrCreate()
    val personList: List[Person] = List(
      Person("1", "jack", 22),
      Person("2", "radrek", 23),
      Person("3", "memo", 26),
      Person("3", "micorekeys", 31),
      Person("4", "mike", 30),
      Person("5", "miki", 21),
      Person("6", "kitty", 22),
      Person("7", "beam", 24),
      Person("8", "jack", 22),
      Person("9", "hancksom", 24),
      Person("10", "herry", 32),
      Person("11", "kily", 37),
      Person("12", "tom", 34),
      Person("13", "sam", 32),
      Person("14", "lily", 27),
      Person("15", "mary", 23),
      Person("16", "john", 26),
      Person("17", "jom", 24),
      Person("18", "vico", 21)
    )
    val rows=personList.map(person => {
      Row(person.id,person.name,person.age)
    })
    val schema=StructType(List(
      StructField("id",StringType,true),
      StructField("name",StringType,true),
      StructField("age",IntegerType,true)
    ))
    val pDF=spark.createDataFrame(JavaConversions.seqAsJavaList(rows),schema)
    pDF.show(false)

RowRDD

val spark=SparkSession.builder().appName("dfdemo")
      .master("local[*]")
      .getOrCreate()
    val personList: List[Person] = List(
      Person("1", "jack", 22),
      Person("2", "radrek", 23),
      Person("3", "memo", 26),
      Person("3", "micorekeys", 31),
      Person("4", "mike", 30),
      Person("5", "miki", 21),
      Person("6", "kitty", 22),
      Person("7", "beam", 24),
      Person("8", "jack", 22),
      Person("9", "hancksom", 24),
      Person("10", "herry", 32),
      Person("11", "kily", 37),
      Person("12", "tom", 34),
      Person("13", "sam", 32),
      Person("14", "lily", 27),
      Person("15", "mary", 23),
      Person("16", "john", 26),
      Person("17", "jom", 24),
      Person("18", "vico", 21)
    )
    val rows=personList.map(person => {
      Row(person.id,person.name,person.age)
    })
    val schema=StructType(List(
      StructField("id",StringType,true),
      StructField("name",StringType,true),
      StructField("age",IntegerType,true)
    ))

    val rowRDD=spark.sparkContext.parallelize(rows)
    spark.createDataFrame(rowRDD,schema).show(false)
2）Dataset的创建
case class Person(var id:String,var name:String,var age:Int)
① 根据Scala List直接创建Dataset
val spark=SparkSession.builder().appName("dfdemo")
      .master("local[*]")
      .getOrCreate()
val listPerson = List(
  Person("12", "tom", 34),
  Person("13", "sam", 32),
  Person("14", "lily", 27),
  Person("15", "mary", 23),
  Person("16", "john", 26)
)
import spark.implicits._
val pdf = spark.createDataset(listPerson)
pdf.show(false)
② 根据RDD创建DataSet
val spark=SparkSession.builder().appName("dfdemo")
      .master("local[*]")
      .getOrCreate()
val listPerson = List(
  Person("12", "tom", 34),
  Person("13", "sam", 32),
  Person("14", "lily", 27),
  Person("15", "mary", 23),
  Person("16", "john", 26)
)
import spark.implicits._
val frame: DataFrame = spark.createDataFrame(spark.sparkContext.parallelize(listPerson))
frame.show(false)
8.RDD,DataFrame和Dataset之间的转换

所有转换都必须引入：

import spark.implicits._
1) RDD 转DataFrame，Dataset
① RDD转DataFrame
rdd.toDF()
② RDD转Dataset
rdd.toDS()
2) DataFrame 转RDD-------DataFrame没法直接转Dataset
df.rdd
3) Dataset转RDD，DataFrame
① Dataset转RDD
ds.rdd
② Dataset转DataFrame
ds.toDF()
猫君之上
关注
专栏目录
Spark SQL之RDD, DataFrame, DataSet详细使用
congge_study的博客
05-02 2万+
Spark SQL之RDD, DataFrame, DataSet详细使用
SparkSQL DataFrame、Dataset和RDD
最新发布
shangjg3的博客
10-06 108
DataFrame 的 `Untyped` 是相对于语言或 API 层面而言，它确实有明确的 Scheme 结构，即列名，列类型都是确定的，但这些信息完全由 Spark 来维护，Spark 只会在运行时检查这些类型和指定类型是否一致。在 Spark 2.0 后，为了方便开发者，Spark 将 DataFrame 和 Dataset 的 API 融合到一起，提供了结构化的 API(Structured API)，即用户可以通过一套标准的 API 就能完成对两者的操作。
Spark SQL之DataFrame
aiyin9511的博客
04-18 650
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 相比于Spark RDD API，Spark SQL包含了对结构化数据和在其上运算的更多信息，Spark SQL使用这些信息进行了额外的优化，使对结构化数据的操作更加高效和方便。 有多种方式去使用Spark SQL，包括SQL、DataFrames API...
spark中的rdd，dataframe和dataset
KujyouRuri的博客
04-26 472
这里写目录标题Spark SQL的可能性RDD、DataFrame和DataSet三者的关系三者的共性三者的区别DataFrame常用操作创建DataSetDataFrame与DataSet互相转换以编程方式执行Spark SQL查询 Spark SQL的可能性 spark sql的特点： 1.易整合 将sql查询与spark程序无缝混合，可以使用java、scala、python、R等语言的API操作。 2.统一的数据访问 以相同的方式连接到任何数据源。 3.兼容Hive 支持hiveSQL的语
spark读取数据并打印,在Apache Spark中读取漂亮的打印json文件
weixin_35203962的博客
02-22 169
I have a lot of json files in my S3 bucket and I want to be able to read them and query those files. The problem is they are pretty printed. One json file has just one massive dictionary but it's not ...
Spark——DataFrame 读写和保存数据
静远小和尚的博客
07-15 5813
原文链接：https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6849695183043297804 本文主要从以下几个方面介绍Spark中的DataFrame读写和保存 第一，DataFrame的介绍 第二，Spark所支持的读写文件格式及示例 第一，DataFrame的介绍 DataFrame的前身是SchemaRDD，从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是：Data
scala spark 创建DataFrame的五种方式
helloxiaozhe的博客
01-28 6747
scala spark 创建DataFrame的多种方式 1. 通过RDD[Row]和StructType创建 import org.apache.log4j.{Level, Logger} import org.apache.spark.rdd.RDD import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{DataFrame,
【SparkSql篇01】SparkSql之DataFrame和DataSet1
08-04
它引入了DataFrame和DataSet这两个编程抽象，为开发人员提供了更高效、灵活的方式来执行SQL查询和数据处理任务。DataFrame可以被视为带schema的RDD，提供了更丰富的优化和性能提升。而DataSet则是DataFrame的增强版...
sparkSQL sparkSQL之DataFrame和DataSet
a3125504x的博客
09-14 785
sparkSQL之DataFrameDataFrame概述DataFrame发展DataFrame是什么DataFrame和RDD的优缺点读取文件构建DataFrameDataFrame常用操作 DataFrame概述 DataFrame发展 DataFrame前身是schemaRDD，schemaRDD直接继承RDD，是RDD的一个实现类 在spark1.3.0之后把schemaRDD改名为DataFrame,它不在继承自RDD，而是自己实现RDD上的一些功能（如 map filter flatmap等
DataFrame和DataSet
weixin_45264992的博客
10-19 840
DataFrame和DataSet 概念： DataFrame和DataSet是SparkSQL的数据抽象，底层是RDD。 存储形式： DataFrame（没有泛型是为了兼容Python）: DataFrame = RDD - 泛型 + 字段 + SQL操作 + 优化 本质上DataFrame就是在RDD上进一步封装，增加了SQL操作。 RDD是分布式集合，而DataFrame就是一个分布式表！！ DataSet DataSet = DataFrame +泛型 相比于DataFrame ，DataSet由
Spark/Scala/SparkSQL问题记录：使用Scala语言遍历DateFrame/DataSet数据集里的每一行、每一列
热门推荐
u010290051的博客
11-21 1万+
在贴代码之前先介绍一下DataFrame与DataSet，以下介绍内容来自以下博客：https://www.cnblogs.com/seaspring/p/5831677.html DataFrame DataFrame是一个分布式集合，其中数据逻辑存储结构为有名字的列。它概念上等价于关系数据库中的表，一个列名对应很多列值，但底层做了更多的优化。DataFrame可以从很多数据源构建，比如：已...
Spark（39）：Streaming DataFrame 和 Streaming DataSet 输出
yang_shibiao的博客
08-11 2425
不同的查询支持不同的输出模式。
Structured Streaming(二)--DataSet和DataFrame API
weixin_45607513的博客
03-03 263
DataSet和DataFrame API 自Spark 2.0以来，DataFrames和数据集可以表示静态的有界数据，也可以表示流式的无界数据。与静态数据集/DataFrames类似，您可以使用公共入口点SparkSession (Scala/Java/Python/R docs)从流数据源创建流数据集/数据集，并对它们应用与静态数据集/数据集相同的操作。 Input Sources Fil...
Spark[pyspark与scala]实现将 DataFrame打印的函数show()的内容转换为字符串（Saving result of DataFrame show() to string ）
shiter编写程序的艺术
09-06 579
文章大纲标准输入输出重定向scala 手动拼接参考文献 标准输入输出重定向 import java.io.ByteArrayOutputStream val outCapture = new ByteArrayOutputStream Console.withOut(outCapture) { staticsDF.show() } val result = new String(outCapture.toByteArray) println(resu
spark 基础语法整理
Alex的博客
06-15 891
这几天想着整理整理spark的基础语法，适合小白参考，话不多说，直接干活，这篇文章我会持续更新 一、spark打印RDD的值 spark打印RDD或者list的值 val spark = SparkSession.builder().master("local[*]").appName("test").getOrCreate() val sc:SparkContext = spark.sparkContext sc.setLogLevel("warn") val data = sc.parallel
DataFrame
TSY_1222的博客
07-21 998
目录： 一、概述 二、创建 三、保存 四、常用操作 1、printSchema() 2、select() 3、filter() 4、groupBy() 5、sort() 一、概述 Spark Core所使用的的数据抽象是RDD（弹性分布...
Spark中的DataFrame是什么？以及如何构建DataFrame？（附案例）
奇迹虎虎的博客
02-23 9919
在 Spark 中，DataFrame 是一种以 RDD 为基础的分布式数据集，是一种特殊的RDD，是一个分布式的表，类似于传统数据库中的二维表格。DataFrame 与 RDD 的主要区别在于，前者带有 schema 元信息，即 DataFrame 所表示的二维表数据集的每一列都带有名称和类型。
Spark之dataframe操作大全
czy的博客
11-11 2611
一、datafram描述 DataFrame 是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。 二、datafram特点 1、支持 KB 级到 PB 级得到数据处理 2、支持多种数据格式和存储系统 3、通过 Spark SQL Catalyst 优化器可以进行...
spark- Dataframe基本操作-查询
wangwangstone的博客
01-03 4957
查询相关操作 .show() 显示头n 行 .printSchema() 打印表概要， .count() 查询统计表中数据行数 .distinct() 去重后的数据 .collect()获取所有数据到数组 .head(num) 以及.take(num) 获取前num行记录 .sample() 采样 .select() 选择列数据 .describe() 查看数据的统计分布
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值