spark之创建DataFrame、DataSet的方法及使用DataFrame创建视图进行SQL操作

最新推荐文章于 2024-07-25 10:39:07 发布
最新推荐文章于 2024-07-25 10:39:07 发布
阅读量658 收藏 1
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26904895/article/details/105182073
版权

创建DataFrame

通过case class创建DataFrame

# 创建case class
scala> case class emp(empno:Int, ename:String, job:String, mgr:Int, hiredate:String, sal:Int, comm:String, deptno:Int)
defined class emp
# 获取数据
scala> val line = sc.textFile("/opt/datas/scala/emp.csv").map(_.split(","))
line: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[12] at map at <console>:24
# 数据与表进行映射
scala> val empRDD = line.map(x => emp(x(0).toInt, x(1), x(2), x(3).toInt, x(4), x(5).toInt, x(6), x(7).toInt))
empRDD: org.apache.spark.rdd.RDD[emp] = MapPartitionsRDD[13] at map at <console>:28
# 将映射后的RDD算子转换成DataFrame
scala> val empDf = empRDD.toDF
empDf: org.apache.spark.sql.DataFrame = [empno: int, ename: string ... 6 more fields]
# 查看DataFrame
scala> empDf.show
+-----+------+---------+----+----------+----+----+------+
|empno| ename|      job| mgr|  hiredate| sal|comm|deptno|
+-----+------+---------+----+----------+----+----+------+
| 7369| SMITH|    CLERK|7902|1980/12/17| 800|   0|    20|
| 7499| ALLEN| SALESMAN|7698| 1981/2/20|1600| 300|    30|
| 7521|  WARD| SALESMAN|7698| 1981/2/22|1250| 500|    30|
| 7566| JONES|  MANAGER|7839|  1981/4/2|2975|   0|    20|
| 7654|MARTIN| SALESMAN|7698| 1981/9/28|1250|1400|    30|
| 7698| BLAKE|  MANAGER|7839|  1981/5/1|2850|   0|    30|
| 7782| CLARK|  MANAGER|7839|  1981/6/9|2450|   0|    10|
| 7788| SCOTT|  ANALYST|7566| 1987/4/19|3000|   0|    20|
| 7839|  KING|PRESIDENT|7839|1981/11/17|5000|   0|    10|
| 7844|TURNER| SALESMAN|7698|  1981/9/8|1500|   0|    30|
| 7876| ADAMS|    CLERK|7788| 1987/5/23|1100|   0|    20|
| 7900| JAMES|    CLERK|7698| 1981/12/3| 950|   0|    30|
| 7902|  FORD|  ANALYST|7566| 1981/12/3|3000|   0|    20|
| 7934|MILLER|    CLERK|7782| 1982/1/23|1300|   0|    10|
+-----+------+---------+----+----------+----+----+------+

使用Spark Session创建

# 引入数据类型包
scala> import org.apache.spark.sql.types._
import org.apache.spark.sql.types._
# 通过StructType创建Schema
scala> val empSchema = StructType(List(StructField("empno", DataTypes.IntegerType),
     | StructField("ename", DataTypes.StringType),
     | StructField("job", DataTypes.StringType),
     | StructField("mgr", DataTypes.IntegerType),
     | StructField("hiredate", DataTypes.StringType),
     | StructField("sal", DataTypes.IntegerType),
     | StructField("comm", DataTypes.StringType),
     | StructField("deptno", DataTypes.IntegerType)))
empSchema: org.apache.spark.sql.types.StructType = StructType(StructField(empno,IntegerType,true), StructField(ename,StringType,true), StructField(job,StringType,true), StructField(mgr,IntegerType,true), StructField(hiredate,StringType,true), StructField(sal,IntegerType,true), StructField(comm,StringType,true), StructField(deptno,IntegerType,true))
# 读取数据按逗号切分数据
scala> val empLineRDD = sc.textFile("/opt/datas/scala/emp.csv").map(_.split(","))
empLineRDD: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[19] at map at <console>:27

# 引入Spark Sql Row
scala> import org.apache.spark.sql.Row
import org.apache.spark.sql.Row

# 将数据映射成Row
scala> val empRowRDD = empLineRDD.map(line => Row(line(0).toInt, line(1), line(2), line(3).toInt, line(4), line(5).toInt, line(6), line(7).toInt))
empRowRDD: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[20] at map at <console>:32

# 通过数据和 schema创建DataFrame
scala> val empDF = spark.createDataFrame(empRowRDD, empSchema)
empDF: org.apache.spark.sql.DataFrame = [empno: int, ename: string ... 6 more fields]
# 查看DataFrame
scala> empDF.show
+-----+------+---------+----+----------+----+----+------+
|empno| ename|      job| mgr|  hiredate| sal|comm|deptno|
+-----+------+---------+----+----------+----+----+------+
| 7369| SMITH|    CLERK|7902|1980/12/17| 800|   0|    20|
| 7499| ALLEN| SALESMAN|7698| 1981/2/20|1600| 300|    30|
| 7521|  WARD| SALESMAN|7698| 1981/2/22|1250| 500|    30|
| 7566| JONES|  MANAGER|7839|  1981/4/2|2975|   0|    20|
| 7654|MARTIN| SALESMAN|7698| 1981/9/28|1250|1400|    30|
| 7698| BLAKE|  MANAGER|7839|  1981/5/1|2850|   0|    30|
| 7782| CLARK|  MANAGER|7839|  1981/6/9|2450|   0|    10|
| 7788| SCOTT|  ANALYST|7566| 1987/4/19|3000|   0|    20|
| 7839|  KING|PRESIDENT|7839|1981/11/17|5000|   0|    10|
| 7844|TURNER| SALESMAN|7698|  1981/9/8|1500|   0|    30|
| 7876| ADAMS|    CLERK|7788| 1987/5/23|1100|   0|    20|
| 7900| JAMES|    CLERK|7698| 1981/12/3| 950|   0|    30|
| 7902|  FORD|  ANALYST|7566| 1981/12/3|3000|   0|    20|
| 7934|MILLER|    CLERK|7782| 1982/1/23|1300|   0|    10|
+-----+------+---------+----+----------+----+----+------+

通过读取spark支持的数据源创建

  1. 读取csv文件创建DataFrame

    # 读取csv文件创建DataFrame
scala> val readCsvDF = spark.read.csv("/opt/datas/scala/emp.csv")
readCsvDF: org.apache.spark.sql.DataFrame = [_c0: string, _c1: string ... 6 more fields]
# DataFrame查看
scala> readCsvDF.show
+----+------+---------+----+----------+----+----+---+
| _c0|   _c1|      _c2| _c3|       _c4| _c5| _c6|_c7|
+----+------+---------+----+----------+----+----+---+
|7369| SMITH|    CLERK|7902|1980/12/17| 800|   0| 20|
|7499| ALLEN| SALESMAN|7698| 1981/2/20|1600| 300| 30|
|7521|  WARD| SALESMAN|7698| 1981/2/22|1250| 500| 30|
|7566| JONES|  MANAGER|7839|  1981/4/2|2975|   0| 20|
|7654|MARTIN| SALESMAN|7698| 1981/9/28|1250|1400| 30|
|7698| BLAKE|  MANAGER|7839|  1981/5/1|2850|   0| 30|
|7782| CLARK|  MANAGER|7839|  1981/6/9|2450|   0| 10|
|7788| SCOTT|  ANALYST|7566| 1987/4/19|3000|   0| 20|
|7839|  KING|PRESIDENT|7839|1981/11/17|5000|   0| 10|
|7844|TURNER| SALESMAN|7698|  1981/9/8|1500|   0| 30|
|7876| ADAMS|    CLERK|7788| 1987/5/23|1100|   0| 20|
|7900| JAMES|    CLERK|7698| 1981/12/3| 950|   0| 30|
|7902|  FORD|  ANALYST|7566| 1981/12/3|3000|   0| 20|
|7934|MILLER|    CLERK|7782| 1982/1/23|1300|   0| 10|
+----+------+---------+----+----------+----+----+---+

  2. 读取json文件创建DataFrame

    # 读取json文件创建DataFrame
scala> val readJsonDF = spark.read.json("/opt/datas/scala/emp.json")
readJsonDF: org.apache.spark.sql.DataFrame = [comm: string, deptno: bigint ... 6 more fields]
# DataFrame查看
scala> readJsonDF.show
+----+------+-----+------+----------+---------+----+----+
|comm|deptno|empno| ename|  hiredate|      job| mgr| sal|
+----+------+-----+------+----------+---------+----+----+
|    |    20| 7369| SMITH|1980/12/17|    CLERK|7902| 800|
| 300|    30| 7499| ALLEN| 1981/2/20| SALESMAN|7698|1600|
| 500|    30| 7521|  WARD| 1981/2/22| SALESMAN|7698|1250|
|    |    20| 7566| JONES|  1981/4/2|  MANAGER|7839|2975|
|1400|    30| 7654|MARTIN| 1981/9/28| SALESMAN|7698|1250|
|    |    30| 7698| BLAKE|  1981/5/1|  MANAGER|7839|2850|
|    |    10| 7782| CLARK|  1981/6/9|  MANAGER|7839|2450|
|    |    20| 7788| SCOTT| 1987/4/19|  ANALYST|7566|3000|
|    |    10| 7839|  KING|1981/11/17|PRESIDENT|    |5000|
|   0|    30| 7844|TURNER|  1981/9/8| SALESMAN|7698|1500|
|    |    20| 7876| ADAMS| 1987/5/23|    CLERK|7788|1100|
|    |    30| 7900| JAMES| 1981/12/3|    CLERK|7698| 950|
|    |    20| 7902|  FORD| 1981/12/3|  ANALYST|7566|3000|
|    |    10| 7934|MILLER| 1982/1/23|    CLERK|7782|1300|
+----+------+-----+------+----------+---------+----+----+

创建DataSet

通过序列创建

# 自定义case class
scala> case class Person(name:String, age:Int)
defined class Person
# 生成序列并创建DataSet
scala> val personDS = Seq(Person("DAYTOY", 29), Person("kai", 25)).toDS
personDS: org.apache.spark.sql.Dataset[Person] = [name: string, age: int]
# 查看结果集
scala> personDS.show
+------+---+
|  name|age|
+------+---+
|DAYTOY| 29|
|   kai| 25|
+------+---+

通过JSON数据创建

# 创建case class
scala> case class Person(name:String, age:Long)
defined class Person
# 通过json数据创建DataFrame
scala> val jsonDF = spark.read.json(sc.parallelize("""{"name":"DAYTOY", "age":29}""" :: Nil))
jsonDF: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
# 将DataFrame转换成DataSet
scala> val jsonDS = jsonDF.as[Person]
jsonDS: org.apache.spark.sql.Dataset[Person] = [age: bigint, name: string]
#查看结果
scala> jsonDS.show
+---+------+
|age|  name|
+---+------+
| 29|DAYTOY|
+---+------+

通过读取文件创建

# 通过读取文件创建DataSet
scala> val empDS = spark.read.text("/opt/datas/emp.txt").as[String]
empDS: org.apache.spark.sql.Dataset[String] = [value: string]
# 查看结果，只展示部分字段
scala> empDS.show
+--------------------+
|               value|
+--------------------+
|7369	SMITH	CLERK	...|
|7499	ALLEN	SALESM...|
|7521	WARD	SALESMA...|
|7566	JONES	MANAGE...|
|7654	MARTIN	SALES...|
|7698	BLAKE	MANAGE...|
|7782	CLARK	MANAGE...|
|7788	SCOTT	ANALYS...|
|7839	KING	PRESIDE...|
|7844	TURNER	SALES...|
|7876	ADAMS	CLERK	...|
|7900	JAMES	CLERK	...|
|7902	FORD	ANALYST...|
|7934	MILLER	CLERK...|
+--------------------+
# 查看结果，展示所有字段
scala> empDS.show(false)
+------------------------------------------------------+
|value                                                 |
+------------------------------------------------------+
|7369	SMITH	CLERK	7902	1980-12-17	800.00		20           |
|7499	ALLEN	SALESMAN	7698	1981-2-20	1600.00	300.00	30  |
|7521	WARD	SALESMAN	7698	1981-2-22	1250.00	500.00	30   |
|7566	JONES	MANAGER	7839	1981-4-2	2975.00		20          |
|7654	MARTIN	SALESMAN	7698	1981-9-28	1250.00	1400.00	30|
|7698	BLAKE	MANAGER	7839	1981-5-1	2850.00		30          |
|7782	CLARK	MANAGER	7839	1981-6-9	2450.00		10          |
|7788	SCOTT	ANALYST	7566	1987-4-19	3000.00		20         |
|7839	KING	PRESIDENT		1981-11-17	5000.00		10           |
|7844	TURNER	SALESMAN	7698	1981-9-8	1500.00	0.00	30    |
|7876	ADAMS	CLERK	7788	1987-5-23	1100.00		20           |
|7900	JAMES	CLERK	7698	1981-12-3	950.00		30            |
|7902	FORD	ANALYST	7566	1981-12-3	3000.00		20          |
|7934	MILLER	CLERK	7782	1982-1-23	1300.00		10          |
+------------------------------------------------------+

使用DataFrame创建视图进行SQL操作

# 通过读取json文件创建DataFrame
scala> val readJsonEmpDF = spark.read.json("/opt/datas/scala/emp.json")
readJsonEmpDF: org.apache.spark.sql.DataFrame = [comm: string, deptno: bigint ... 6 more fields]

# 通过DataFrame创建视图
scala> readJsonEmpDF.createOrReplaceTempView("emp")

# 查询emp表的数据
scala> spark.sql("select ename,empno,job,sal from emp").show
+------+-----+---------+----+
| ename|empno|      job| sal|
+------+-----+---------+----+
| SMITH| 7369|    CLERK| 800|
| ALLEN| 7499| SALESMAN|1600|
|  WARD| 7521| SALESMAN|1250|
| JONES| 7566|  MANAGER|2975|
|MARTIN| 7654| SALESMAN|1250|
| BLAKE| 7698|  MANAGER|2850|
| CLARK| 7782|  MANAGER|2450|
| SCOTT| 7788|  ANALYST|3000|
|  KING| 7839|PRESIDENT|5000|
|TURNER| 7844| SALESMAN|1500|
| ADAMS| 7876|    CLERK|1100|
| JAMES| 7900|    CLERK| 950|
|  FORD| 7902|  ANALYST|3000|
|MILLER| 7934|    CLERK|1300|
+------+-----+---------+----+

# 创建部门case class
scala> case class dept(deptno:Int, deptname:String,address:String)
defined class dept
# 读取dept数据
scala> val deptLine = sc.textFile("/opt/datas/scala/dept.csv").map(_.split(","))
deptLine: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[68] at map at <console>:28

# 将数据和case class映射

scala> val deptRDD = deptLine.map(line => dept(line(0).toInt, line(1), line(2)))
deptRDD: org.apache.spark.rdd.RDD[dept] = MapPartitionsRDD[70] at map at <console>:34
# 创建DataFrame
scala> val deptDF = deptRDD.toDF
deptDF: org.apache.spark.sql.DataFrame = [deptno: int, deptname: string ... 1 more field]
# 创建dept视图
scala> deptDF.createOrReplaceTempView("dept")
# 查询员工所在的部门名称
scala> spark.sql("select dept.deptname,emp.ename from dept join emp on dept.deptno = emp.deptno").show
+----------+------+
|  deptname| ename|
+----------+------+
|ACCOUNTING|MILLER|
|ACCOUNTING|  KING|
|ACCOUNTING| CLARK|
|  RESEARCH|  FORD|
|  RESEARCH| ADAMS|
|  RESEARCH| SCOTT|
|  RESEARCH| JONES|
|  RESEARCH| SMITH|
|     SALES| JAMES|
|     SALES|TURNER|
|     SALES| BLAKE|
|     SALES|MARTIN|
|     SALES|  WARD|
|     SALES| ALLEN|
+----------+------+
gugu_Jiao
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL之RDD, DataFrame, DataSet详细使用
congge_study的博客
05-02 2万+
Spark SQL之RDD, DataFrame, DataSet详细使用
spark sql 创建rdd以及DataFrame和DataSet互转
a18792721831的博客
02-24 1612
spark sql 创建rdd以及DataFrame和DataSet互转使用SparkSession读取本地文件创建rddDateSet的介绍DataFrame的介绍Rdd转DateFrame读取本地文件得到DataFrameDF风格查询sql风格查询查看sql的执行计划RDD通过指定结构转为DataFrameRDD通过反射构造结构转为DataFrameRdd 转DataSet从DataFrame或DataSet中获取RDDDataFrame和DateSet的互转spark sql 连接 thriftser
Spark SQL dataframe和dataset
weixin_53898747的博客
04-10 490
dataFrame和dataSet，sparksql的运行原理
Spark-SQL——DataFrame与Dataset
太白_猿的博客
04-10 564
Spark SQL是Apache Spark中用于结构化数据处理的模块。它允许开发人员在Spark上执行SQL查询、处理结构化数据以及将它们与常规的RDD一起使用。Spark Sql提供了用于处理结构化数据的高级API，如DataFrames和Datasets，它们比原始的RDD API更加高效和方便。通过Spark SQL，可以使用标准的SQL语言进行数据处理，也可以使用DataFrame API进行操作。
Spark SQL中DataFrame和DataSet之间相互转换
Huc673619的博客
11-04 1236
package com.huc.sparkSql import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} object Test04_DSAndDF { def main(args: Array[String]): Unit = { // 1. 创建sparkSession配置对象 v
Spark DataFrame之创建DataFrame
Toby的博客
04-06 2704
创建DataFrame的各种例子代码，主要是用来构造测试用例，方便快速测试方法、UDF之类。 参考spark官方文档 总共15个例子，每个例子分别使用了scala和python语言code，两种语言的例子是一一对应的，序号相同的就是同一个例子。 包括Array、Seq数据格式存储的数据，包括稀疏向量、稠密向量的特征列，包括含有缺失值的列等，看完就再也不怕用各种奇形怪状的数据类型来创建DataFrame了。 一、In Scala 1、常规情况 val dataset = spark.create
Spark DataFrame和Dataset使用例子
penngo的专栏
12-07 1067
Spark DataFrame和Dataset使用教程
Spark中的DataFrame和DataSet
qq_42456324的博客
05-05 2317
在SparkSql中要求被操作的数据必须是结构化的,所以引入了俩种数据类型,DataFrame和DataSet。DataFrame是spark1.3之后引入的分布式集合,DataSet是spark1.6之后引入的分布式集合。在spark2.0之后,DataFrame和DataSet的API统一了,DataFrame是DataSet的子集,DataSet是DataFrame的扩展。 (type DataFrame = org.apache.spark.sql.Dataset[org.apache.spark
【Spark SQL】DataFrame 和 Dataset
每天更新大数据面经和技术
05-18 528
  从今天开始学习 Spark SQL。首先了解一下 Spark SQL。官网的描述如下： Spark SQL is Apache Spark’s module for working with structured data. 翻译一下就是：Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 今天我们先学习一下 DataFrame 和 Dataset。学习之前可以点击下面链接回顾一下之前的文章，了解一下 RDD。 Spark 的三大数据结构 关注公众号
JAVA spark创建DataFrame的方法
09-07
在Java中操作Spark DataFrame，我们需要了解几个关键概念和步骤，这通常包括创建SparkSession、加载数据、数据转换以及保存结果。下面将详细介绍如何在Java中使用Spark创建DataFrame。 首先，创建SparkSession是...
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
包括spara rdd api，dataframe action操作、查询操作、join操作，dataframe rdd dataset 相互转换以及spark sql。
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结
08-27
在本文中，我们将讨论如何使用 Java 和 Scala 将 Spark RDD 转换成 DataFrame，並且介绍两种实现方法。 准备数据源 在项目下新建一个 student.txt 文件，内容如下： 1,zhangsan,20 2,lisi,21 3,wanger,19 4,...
【SparkSql篇01】SparkSql之DataFrame和DataSet1
08-04
在实际使用中，SparkSQL的强大之处在于它可以无缝地集成SQL查询和Spark编程，允许开发人员混合使用SQL语句和Scala/Java/Python代码，极大地提升了开发效率。SparkSQL还支持通过JDBC或ODBC与其他工具和应用程序连接，...
spark-scala-examples:该项目以Scala语言提供了Apache Spark SQL，RDD，DataFrame和Dataset示例
05-04
目录（Scala中的Spark示例）Spark RDD示例火花蓄能器介绍将Spark RDD转换为DataFrame | 数据集 Spark SQL教程Spark创建带有示例的DataFrame Spark DataFrame withColumn 重命名Spark DataFrame上的列的方法Spark –...
Spark核心知识要点（三）
ytp552200ytp的博客
07-25 834
Spark核心知识要点（三）
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 907
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
kechengsheji2021.zip
07-30
kechengsheji2021.zip
1cfa8b474c28bb76433ab12fc99ee5ad.jpeg
最新发布
07-30
1cfa8b474c28bb76433ab12fc99ee5ad.jpeg
spark 系列（八）—— spark sql 之 dataframe和dataset
06-28
Spark SQL中的DataFrame和Dataset是两种非常重要的数据结构，它们都是基于RDD的分布式数据集，但是它们提供了更高级别的API，可以更方便地进行数据处理和分析。 DataFrame是一种类似于关系型数据库中表的数据结构，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值