DataFrame算子

于 2022-05-15 22:57:18 发布
阅读量72 收藏
点赞数
分类专栏： 面试 学习路线 阿里巴巴 文章标签： android 前端 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54861649/article/details/124790115
版权
面试 同时被 3 个专栏收录
169 篇文章 6 订阅
订阅专栏
学习路线
155 篇文章 1 订阅
订阅专栏
阿里巴巴
152 篇文章 0 订阅
订阅专栏
本文详细介绍了DataFrame的各种算子，包括RDD同源类算子中的数据转换、聚合、准备和预处理；Schema同源类算子中的探索、清洗、转换、分析和持久化操作。内容涵盖map、filter、groupByKey、reduce、select、join、groupBy、agg等关键操作，是数据处理的重要参考资料。
摘要由CSDN通过智能技术生成

算子分类
|__ RDD同源
||__ 数据转换
|||__ map
|||__ mapPartitions
|||__ flatMap
|||__ filter
||__ 数据聚合
|||__ groupByKey
|||__ reduce
||__ 数据准备
|||__ union
|||__ sample
||__ 数据预处理
|||__ coalesce
|||__ repartition
||__ 结构收集
|||__ first
|||__ take
|||__ collect
|__ Schema同源
|__ 探索类算子
||__ 查看数据模式
|||__ columns
|||__ schema
|||__ printSchema
||__ 查看数据"模样"
|||__ show
||__ 查看数据分布
|||__ describe
||__ 查看数据执行计划
||__ explain
|__ 清洗类算子
||__ 删除DataFrame中列数据
||__ drop
||__ 去重
||__ distinct
||__ 按照指定列去重
||__ drop
||__ null处理
||__ na
|__ 转换类算子
||__ 按照列名对数据做投影
||__ select
||__ 以SQL语句为参数生成、提取数据
||__ selectExpr
||__ 以SQL语句为参数做数据过滤
||__ where
||__ 字段重命名
||__ withColumnRenamed
||__ 生成新的数据列
||__ withColumn
||__ 展开数组类的数据列
||__ explode
|__ 分析类算子
||__ 两个DataFrame间做数据关联
||__ join
||__ 按照列分组
||__ groupBy
||__ 分组后做数据聚合
||__ agg
||__ 排序
||__ sort
||__ orederBy
|__ 持久化类算子
|__ write

算子分类

RDD同源类算子

数据转换

map

mapPartitions

flatMap

filter

数据聚合

groupByKey

reduce

数据准备1.3

union

sample

数据预处理

coalesce

repartition

结构收集

first

take

collect

Schema同源类算子

探索类算子

查看数据模式

columns

schema

printSchema

查看数据"模样"

show

查看数据分布

describe

查看数据执行计划

explain

清洗类算子

删除DataFrame中列数据

drop

去重

distinct

按照指定列去重

drop

null处理

na

转换类算子

按照列名对数据做投影

select

以SQL语句为参数生成、提取数据

selectExpr

以SQL语句为参数做数据过滤

where

字段重命名

withColumnRenamed

生成新的数据列

withColumn

展开数组类的数据列

explode

分析类算子

两个DataFrame间做数据关联

join

按照列分组

groupBy

分组后做数据聚合

agg

排序

sort

orederBy

持久化类算子

write
每日一小知识
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark15：Spark SQL：DataFrame常见算子操作、DataFrame的sql操作、RDD转换为DataFrame、load和save操作、SaveMode、内置函数
weixin_40612128的博客
03-09 2426
前面我们学习了Spark中的Spark core，离线数据计算，下面我们来学习一下Spark中的Spark SQL。 一、Spark SQL 二、SparkSession 三、创建DataFrame 四、DataFrame常见算子操作 五、DataFrame的sql操作 六、RDD转换为DataFrame 1、反射方式 2、编程方式 七、load和save操作 八、SaveMode 九、内置函数 ...
spark2.2 DataFrame的一些算子操作
福州大数据 hadoop学习
04-29 552
SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。 可以参考，Scala提供的DataFrame API。本文将使用SparkSession进行操作。 一、DataFrame对象的生成 val ss = SparkSession.builder() 　　　　　　　　　　.ap...
dataframe一些算子
m0_48714980的博客
06-24 106
https://blog.csdn.net/SuperBoy_Liang/article/details/81170853
DataFrame的数据处理算子
小龙在线
05-04 1261
同源类算子 算子用途 算子 数据转换 map/mapPartitions/flatMap/filter 数据聚合 groupByKey/reduce 数据准备 union/sample 数据预处理 repartition/coalesce 结构收集 first/take/collect 探索类算子 初步了解并认识数据，如数据模式Schema、数据分布等。 算子用途 算子 查看数据模式 columns/schema/printSchema 查看数据 sh
浅谈DataFrame和SparkSql取值误区
01-20
3、DataFrame只有遇见Action的算子才能执行 4、SparkSql查出来的数据返回的是一个dataframe数据集。 原始数据 scala> val parquetDF = sqlContext.read.parquet(hdfs://hadoop14:9000/yuhui/parquet/part-r-00004....
pyspark给dataframe增加新的一列的实现示例
09-17
在Pyspark中，DataFrame是数据处理的核心对象，与Pandas DataFrame类似，但适用于大规模分布式计算。在Pandas中，我们可以直接用字典的方式给DataFrame添加新列，但在Pyspark中，我们需要使用不同的方法。本文将详细...
COLOP:使用从 OpendTect 导出的幅度谱的颜色算子设计
05-31
在Python环境中，我们首先导入所需库，然后加载幅度谱数据到DataFrame。接着，我们可以对数据进行预处理，比如去除异常值、归一化等。接下来，根据业务需求，我们可以计算各种特征，例如平均幅度、峰值频率等。 ...
【大数据学习资料】Spark单value，key-value类型21个算子(图解与源码).zip
04-08
在Spark中，数据被组织成两种主要的数据结构：RDD（弹性分布式数据集）和DataFrame/Dataset。本资料主要聚焦于RDD，特别是针对value和key-value类型的算子，帮助你深入理解Spark的核心运算能力。 RDD，即弹性分布式...
【大数据】SparkSql连接查询中的谓词下推处理(一)
01-07
SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL 可以直 接使用scala语言完成Sql查询，同时也使用thriftserver提供服务化的...
RDD、DataFrame与DataSet|Spark常用算子
ThreeAspects的博客
12-12 946
  DataFrame是spark1.3.0版本提出来的，spark1.6.0版本又引入了DateSet的。DataFrame、DataSet是基于RDD的，三者之间可以通过简单的API调用进行无缝切换。 RDD、DataFrame与DataSet区别 RDD RDD一般和spark mlib同时使用 RDD不支持sparksql操作 DataFrame   在Spark中，DataFrame...
Spark_Spark中DataFrame 基本操作函数
迎难而上
05-30 4131
DataFrame的基本操作函数 Action 操作 1、 collect() 返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, an...
pyspark dataframe数据分析常用算子
JiaJia的博客
02-22 3108
不断更新 1.filter （1）单条件过滤 data = df.filter(df['age'] == 20)) 或者 data = df.filter('age = 20') （2）多条件过滤 data = df.filter((df['age'] == 20) | (df['gender'] == 'male')) ...
DataFrame 创建方式和操作（Spark 中的核心知识，用来计算结构化数据）
huangyinzhao的博客
06-11 1143
一、 scala版本1.1:用javabean类型的rdd创建         val sparkConf = new SparkConf().setMaster("local").setAppName("adaa")         val sc = new SparkContext(sparkConf)                  var sqlcontext = new SQLCont...
如何理解spark中RDD和DataFrame的结构？
02-08 2995
RDD中可以存储任何的单机类型的数据，但是，直接使用RDD在字段需求明显时，存在算子难以复用的缺点。 例如，现在RDD存的数据是一个Person类型的数据，现在要求所有每个年龄段（10年一个年龄段）的人中最高的身高与最大的体重。 使用RDD接口，因为RDD不了解其中存储的数据的具体结构，数据的结构对它而言是黑盒，于是这就需要用户自己去写一个很特化的聚合的函数来完成这样的功能。 而
spark sql Dataset&Dataframe算子大全
zhaolq1024的博客
03-20 5357
目录 Dataset&Dataframe RDD,Dataset,Dataframe互相转换 Dataset&Dataframe算子 show() na() 返回包含null值的行 stat() sortWithinPartitions() sort()&order by() hint() selectExpr() filter&w...
⑩SparkSQL数据处理两种方式-DataFrameSQL和算子
someInNeed的博客
12-10 2297
为了给开发者提供足够的灵活性，对于 DataFrame 之上的数据处理，Spark SQL 支持两类开发入口：一个是大家所熟知的结构化查询语言：SQL，另一类是 DataFrame 开发算子。就开发效率与执行效率来说，二者并无优劣之分，选择哪种开发入口，完全取决于开发者的个人偏好与开发习惯。与 RDD 类似，DataFrame 支持种类繁多的开发算子，但相比 SQL 语言，DataFrame 算子的学习成本相对要高一些。因此，本着先易后难的思路，咱们先来说说 DataFrame 中 SQL 语...
SPARK2.2 DATAFRAME的一些算子操作
kwame211的博客
05-25 3750
Spark Session中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。一、DataFrame对象的生成　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过J...
DataFrame(7)：DataFrame运算——算术运算
数据分析与统计学之美
02-04 8862
1、DataFrame算术运算 加：add 或 + 减：sub 或 - 2、DataFrame与标量之间的运算(这个才是最重要的) 1）原始数据 x = [[np.nan,1,1,1,1],[2,2,np.nan,2,2],[3,3,3,3,3],[4,np.nan,4,4,4]] df = pd.DataFrame(x,columns=list("abcde")) display(df) ...
dataFrame使用flatMap算子
最新发布
09-01
dataFrame是一种类似于表格的数据结构，flatMap算子用于对DataFrame中的每个元素进行操作，并返回一个新的DataFrame。 要在DataFrame上使用flatMap算子，你需要先将DataFrame转换为RDD，然后利用RDD的flatMap算子进行操作。下面是一个示例代码： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder().appName("DataFrame flatMap").getOrCreate() // 创建一个包含字符串的DataFrame val dataFrame = spark.createDataFrame(Seq( ("Hello World"), ("How are you") )).toDF("sentence") // 将DataFrame转换为RDD val rdd = dataFrame.rdd // 使用flatMap对每个句子进行单词拆分，并返回新的DataFrame val newDataFrame = rdd.flatMap(row => row.getString(0).split(" ")).toDF("word") // 打印新的DataFrame newDataFrame.show() ``` 上述代码中，我们首先创建了一个包含字符串的DataFrame。然后，我们将DataFrame转换为RDD，并使用flatMap算子对每个句子进行单词拆分。最后，我们将拆分后的单词转换为新的DataFrame，并打印出来。 注意，flatMap算子返回的是一个RDD，所以我们需要将其再次转换为DataFrame。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值