Spark学习:如何在DataFrame上做数据处理?

已于 2023-12-11 16:36:08 修改
阅读量1.4k 收藏 4
点赞数
分类专栏： Spark 文章标签： spark big data 大数据
于 2022-02-09 20:59:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nzbing/article/details/122849409
版权
本文介绍了如何在Spark DataFrame上进行数据处理，包括使用Sql语句和DataFrame算子。通过createTempView或createGlobalTempView将DataFrame转换为临时表，便于执行SQL操作。此外，文章详细阐述了DataFrame的探索类、清洗类、转换类、分析类和持久化算子的使用，如distinct、dropDuplicates、selectExpr、where、join、groupBy等。
摘要由CSDN通过智能技术生成

spark dataframe

·对于在DataFrame上的数据处理,SparkSql支持两种:一类是Sql;另一类是DataFrame开发算子

一、Sql语句

对于任意的DataFrame，都可以使用createTempView(生命周期仅限于SparkSession)或createGlobalTempView(可以跨SparkSession)创建临时表,之后在临时表上用sql语句进行灵活地增删改查
eg:

import org.apache.spark.sql.DataFrame
val seq:Seq[(String
了解本专栏 订阅专栏 解锁全文 超级会员免费看
我爱夜来香A
关注
专栏目录
订阅专栏
Spark学习笔记（三）：Spark DataFrame
01-20
综上所述，Spark DataFrame 提供了一种更加高级和抽象的方式来处理结构化数据，它结合了RDD的灵活性和SQL的便利性，使得数据处理工作变得更加简洁高效。DataFrame的使用是Spark进行大数据分析的核心技能之一，对于...
spark.dataframe的一些常用操作(Scala)
Daverain的博客
10-01 1万+
前言 说起dataframe，大家一般会首先想起pandas.dataframe。随着数据科学越来越火热，大部分同学都使用过python去进行一些数据科学的实践，也应该会对dataframe的简单易用颇有好感。 然而pandas只能用于处理单机问题，面对工业级的海量数据处理和计算，就显得无能为力。 spark作为分布式计算框架，在工业界占据了比较主流的地位。spark同样也提供了dataframe...
Spark Sql 和DataFrame总结
cjl的博客
10-21 1551
Spark Sql 和DataFrame总结Spark Sql总结1. Spark SQL概述2. DataFrame2.1 DataFrame概述2.2 DataFrame vs RDD 区别2.3 Pandas DataFrame vs Spark DataFrame3. DataFrame 操作3.1 创建DataFrame3.1.1 从RDD创建DataFrame3.1.2 从CSV文件创建DataFrame3.1.3连接数据库3.1.4 读取json数据3.2 DataFrame操作3.3 综合
Spark SQL DataFrame 算子
2401_84052244的博客
07-31 420
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。
spark对DataFrame操作的方法(包含去除重复)
Buevara的博客
08-19 8853
DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学计算的类表...
dataset的去重计数 g2_Spark Dataset DataFrame 操作
weixin_30451613的博客
12-30 711
相关博文参考sparksql中dataframe的用法import groovy.sql.DataSetimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.{DataFrame, Row, SparkSession}object sparkSession {case class Person(name:String,...
大数据Spark DataFrame/DataSet常用操作
赵广陆
12-19 4699
目录1 一般操作：查找和过滤1.1 读取数据源1.1.1读取json1.1.2 读取Hive表1.2 取数据列1.3 过滤算子filter(filter等价于where算子)2 聚合操作：groupBy和agg2.1 排序算子sort(sort等价于orderBy)2.2 分组函数groupBy2.2.1 分组计数2.2.2 分组后求最值、平均值、求和的方法2.2.3 分组后，求多个聚合值（最值、平均值等）。使用算子groupBy+agg2.2.4 分组聚合后取别名2.2.5 分组后行转列，使用pivot2
大数据处理框架：Spark：Spark SQL与DataFrame教程.docx
最新发布
09-02
大数据处理框架：Spark：Spark SQL与DataFrame教程.docx
spark: RDD与DataFrame之间的相互转换方法
09-20
在大数据处理框架Spark中，RDD（弹性分布式数据集）和DataFrame是两种常用的抽象数据类型，它们分别对应于不同的操作接口和优化技术。RDD是最基础的分布式数据集合，提供了一种容错的并行处理数据的方式。而...
用Spark进行大数据处理之机器学习篇
01-27
在大数据处理领域，Spark作为一款高效的大数据处理框架，提供了丰富的机器学习能力。本文主要探讨了如何使用Spark的机器学习库Spark MLlib进行预测分析，同时介绍了Spark的两个主要机器学习包：spark.mllib和spark....
【pandas】模块——DataFrame数据处理（一）
panbaoran913的博客
11-23 3711
DataFrame-数据创建与导入 DataFrame的基础用法和了解 姓名 类型 成绩 0 张三 高中 89 1 李四 初中 90 2特征 第一行为字段,即列名,从第二行开始为一行一行的记录 每列可以是不同的值类型(数值/字符串/布尔值等) 即有行索引也有列索引 3获得DataFrame的两种方式 3.1 自己创建DateFrame 3.1.1 通过字典的方式创建DataFrame 通过单层字典创建 通过嵌套字典创建 注意 a
Spark DataFrame批量修改数据类型
Yblsfls的博客
11-19 5262
rdd的算子分成Transformation和action算子，其中Transformation算子的操作每次都会生成一个新的rdd，所以在进行数据转换的时候如果单个列进行转换的话性能消耗比较严重，所以批量的操作进行都要减少执行次数。 val colNames = df.schema.fieldNames val cols = colNames.map(f => df(f).cas...
scala spark dataframe 修改字段类型
qq_44920169的博客
03-22 524
scala spark dataframe 修改字段类型。
Spaek DataFrame 一列变成多列，
qq_31159375的博客
07-07 898
111 csdn产品经理是 s d
spark使用withColumn在dataFrame中增加一列、多列，配合cache函数一起使用
Zero小猿的博客
09-13 6850
  在开发spark应用过程中需要往hive表中造测试数据，同时造多列数据，部分列之间存在逻辑计算关系，正常情况下使用.withColumn(“col_name”,conditions)，此时conditions可以直接是类似于 col(“column_a”) * col(“column_b”) ,也可以是udf函数。 例如： 如果我们需要使用table_1关联table_2，得到column_a和column_b，且需要新增两列column_c和column_d，计算条件如下： column_c =
向Spark的DataFrame增加一列数据
热门推荐
SunnyRivers
05-11 2万+
前言 先说个题外话，如何给hive表增加一个列，并且该把该列的所有字段设为’China’？ 如果仅仅是增加一列倒是很简单: alter table test add columns(flag string) 可要把这个flag字段全部设置为China，看起来的确是有点难度，因为往Hive表中装载数据的唯一途径就是使用一种“大量”的数据装载操作（如何往Hive表加载数据请参考），这个时候，如果数据...
基于spark的Scala编程—DataFrame操作之分组聚合
心相印的专栏
11-20 2324
本文主要是写关于Scala如何操作spark的DataFrame，本文先介绍分组聚合的用法，详细请看下面的步骤，以下所有的代码都是在IntelliJ Idea里面编写并且远程调试的。 先创建sparksession对象，代码如下： val conf = new SparkConf().setAppName("LzSparkDatasetExamples").setMaster("local...
spark dataframe写入hive、hdfs、es、oracle
weixin_53099973的博客
08-31 2314
1.写入hive的指定分区中写入数据 ResulToOra2.createTempView("tmp") spark.sql( s""" |insert overwrite table pdr.T_PSSC_TRAN_PORTRAIT_CENTER partition(dt='${sdfDay.format(date)}') select * from tmp | """.stripMargin) pr
Spark中数据预处理和清洗的方法(python)
Wxh_bai的博客
04-03 2389
常见的数据预处理和清洗方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值