【spark】四 DataFrame.distinct()操作也应当优化为RDD操作

最新推荐文章于 2024-03-13 15:39:46 发布
最新推荐文章于 2024-03-13 15:39:46 发布
阅读量4.8k 收藏
点赞数 3
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010720408/article/details/89524749
版权

最好可以用RDD的就不要用DataFrame

今日就遇到执行出现 SparkContext异常停止，怀疑是DataFrame的distinct操作和groupby一样并不在本地合并为最小集，导致最后崩溃；而后换成RDD.distinct()却是可以的。

经多次测试都是以上结论

测试数据 一亿两千万条

结论：能用RDD的相关操作，就别用DataFrame，比如排序、统计count、distinct等等都要替换为RDD的，后续再toDF(*columns)回来即可

百物易用是苏生
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
spark--DataFrame处理udf操作和一些聚合操作
周大科的博客
09-29 8334
在spark中对数据进行处理udf函数还是很多的下面介绍在df下udf操作实例 val sqlContext = new SQLContext(sc) import sqlContext.implicits._ 调用sqlcontext里面的udf函数 sqlContext.udf.register("str",(_:String).length) sqlContext.s
SPARK基础4(DataFrame操作)
xujingpilot的博客
04-11 459
在上文《SPARK基础2(读入文件、转临时表、RDD与DataFrame)》中，我们简单介绍了spark中的DataFrame，我们知道了spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。在本文中我们主要介绍，DataFrame基本API常用操作。 查看数据 // 默认只显示20条 commodityDF.show() // 是否最多只显示20个字符，默认为true ...
[pandas] DataFrame pandas求sql的 count(distinct) count(0)
最新发布
weixin_43988131的博客
03-13 200
pandas 求 count distinct
Spark之DataFrame操作大全
guoliduo的博客
06-27 1907
SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。 可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源.
Spark的dropDuplicates或distinct 对数据去重
Code_LT的博客
04-25 2466
消除重复的数据可以通过使用 distinct 和 dropDuplicates 两个方法。
spark入门.txt
06-17
根据提供的文件信息，我们可以深入探讨Spark的基本操作及与Hive的集成使用，这些知识点主要集中在数据处理、查询优化以及分布式数据库的应用上。 ### Spark 基础：使用 SQLContext 和 HiveContext #### 1. 使用 ...
大数据技术原理及应用课实验7 :Spark初级编程实践
01-16
首先，将两个文件的内容合并为一个DataFrame或RDD，然后通过`reduceByKey(_ + _)`对键值对进行合并，最后用`distinct()`去除重复项。 2. 求平均值：这个任务需要计算多个文件中所有学生的平均成绩。首先，将所有...
SparkSQL的jdbc操作及java的api操作
03-19
SparkSQL是Apache Spark项目的一部分，它提供了一个用于处理结构化数据的强大工具，允许开发者使用SQL或者DataFrame API来操作数据。在本项目中，我们将探讨SparkSQL的JDBC操作以及Java API的使用方法。 首先，JDBC...
工信部spark中级考试参考题目
05-23
20. actions：操作触发时，会执行 RDD 记录的所有运行 transformations 操作，并计算结果，结果可返回到 driver 程序，也可保存到相关存储系统中。 21. distinct：对源 RDD 进行去重后返回一个新的 RDD。 22. union...
Spark大数据技术与应用教学大纲.pdf
10-30
课程分为多个章节，详细讲解Spark的基础知识、环境搭建、Python编程与Spark的结合、RDD的操作以及DataFrame和SparkSQL的应用。 1. Spark简介与运行原理： - Spark的版本发展历程：了解Spark从早期版本到最新版本的...
spark- Dataframe基本操作-查询
wangwangstone的博客
01-03 4826
查询相关操作 .show() 显示头n 行 .printSchema() 打印表概要， .count() 查询统计表中数据行数 .distinct() 去重后的数据 .collect()获取所有数据到数组 .head(num) 以及.take(num) 获取前num行记录 .sample() 采样 .select() 选择列数据 .describe() 查看数据的统计分布
R语言dplyr包distinct函数基于dataframe数据中的所有变量移除重复行
statistics+insight+vista+power
11-12 905
R语言dplyr包distinct函数基于dataframe数据中的所有变量移除重复行
【Python_024】python实现 count distinct
Haaaley's Notebook
08-26 4018
之前整理过一篇sql语法在pandas中的实现 其中只分开说了count和distinct， 今天终于发现了count distinct的用法 count distinct 用nunique import pandas as pd a=[['A',1,'aa'],['A',2,'aa'],['B',3,'aa'],['C',4,'bb']] df = pd.DataFrame(a) df.columns = ['Type','Num','type2'] df df.groupby('Type').
R语言进行数据分组聚合统计变换（Aggregating transforms）、计算dataframe数据的分组独特值的个数（distinct）
statistics+insight+vista+power
09-25 242
R语言进行数据分组聚合统计变换（Aggregating transforms）、计算dataframe数据的分组独特值的个数（distinct）
spark之distinct去重原理
我的祖传代码
04-08 2322
distinct算子原理： 贴上spark源码： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope ...
spark中distinct是如何实现的？
@coredao
03-09 1080
A1 总述： 去重 A2 思路： map -> resuceByKey -> map A3 源码： 3.1 有参： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x => (x, nu
Spark-SQL之DataFrame操作大全
weixin_30355437的博客
10-12 5869
　　Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 　　本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文...
DataFrame 去重函数
qq_38655865的博客
09-15 701
DataFrame 去重函数 去重数据： distinct // Returns a new Dataset that contains only the unique rows from this Dataset def distinct(): Dataset[T] = dropDuplicates() 去重函数： dropDuplicates def dropDuplicates(c...
pyspark dataframe 去重
直到世界的尽头
04-09 3614
pyspark dataframe 去重 两种去重，一种是整行每一项完全相同去除重复行，另一种是某一列相同去除重复行。 整行去重 dataframe1 = dataframe1.distinct() 某一列或者多列相同的去除重复 df = df.select("course_id", "user_id", "course_name") # 单列为标准 df1 = df.distinct.drop...
spark编程实现RDD转DataFrame，实现统计每部电影的评分人数
05-31
好的，下面是使用Spark编程实现RDD转DataFrame并统计每部电影的评分人数的代码（假设您的数据集中包含三列：用户ID、电影ID和评分）： ```python from pyspark.sql import SparkSession from pyspark.sql.functions import count # 创建SparkSession对象 spark = SparkSession.builder.appName("RDD to DataFrame").getOrCreate() # 读取数据集 rdd = spark.sparkContext.textFile("ratings.dat") # 转换RDD为DataFrame df = rdd.map(lambda x: x.split("::")).\ toDF(["user_id", "movie_id", "rating"]) # 注册为临时表 df.createOrReplaceTempView("ratings") # 使用Spark SQL统计每部电影的评分人数 result = spark.sql("SELECT movie_id, COUNT(DISTINCT user_id) AS num_ratings FROM ratings GROUP BY movie_id") # 打印结果 result.show() ``` 这段代码中，首先创建了一个SparkSession对象，然后读取了一个数据集ratings.dat，将其转换为DataFrame，并将其注册为一个临时表ratings。接着使用Spark SQL语句统计每部电影的评分人数，并将结果存储在result变量中。最后打印结果。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值