Spark distinct中numTasks含义

最新推荐文章于 2023-03-21 15:21:23 发布
最新推荐文章于 2023-03-21 15:21:23 发布
阅读量2.9k 收藏 4
点赞数 1
分类专栏： Spark 文章标签： spark RDD distinct numTasks
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fortuna_i/article/details/81506936
版权
Spark的distinct操作用于去除数据集中的重复项。官方文档中的参数numTasks（在Spark 2.3及以后版本变为numPartitions）并不直接影响分区数量，而是与数据的去重方式有关。通过测试发现，numTasks更像数学中的“因子”，当它能被数据集元素整除时，去重结果会按因子和非因子的组合排序，局部无序但整体有序。若不能整除，则按照原有RDD顺序返回结果。设置numTasks为10和5的实验表明，它实际上是将任务均匀分配，例如5个任务对应每个任务处理20个元素，形成局部无序但全局有序的去重结果。
摘要由CSDN通过智能技术生成

Spark中Transformation有个distinct([numTasks])算子

用于返回一个在源数据集去重之后的新数据集，即去重。

可一直没弄明白官方文档上提到的distinct方法中参数[numTasks]的具体含义，于是做了一下测试：

依次对numTasks值增大测试：

numTasks=1

numTasks=2

numTasks=3

numTasks=5</

最低0.47元/天 解锁文章
Fortuna_i
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Spark distinct
qq_43192537的博客
11-28 507
Spark distinct
Spark Transformation —— distinct 算子
搬砖小工053
07-22 3891
distinct对RDD中的元素进行去重操作。代码测试测试数据准备在hdfs上放一个文件1.txt 打开spark-shellspark-shell --master spark://master:7077(重要的事情说多遍，spark-shell和spark-submit核心的参数是差不多的)创建RDDvar data = sc.textFile("/qgzang/1.txt") 测试di
SparkRDD算子--distinct算子
寒暄的博客
07-31 1404
语法 val newRdd = oldRdd.distinct([numTasks]) numTasks表示并行度。 源码 def distinct(numPartitions : scala.Int)(implicit ord : scala.Ordering[T] = { /* compiled code */ }) : org.apache.spark.rdd.RDD[T] = { /* compiled code */ } 作用 对源RDD进行去重后返回一个新的RDD。默认情况下，只有8个并行任务
Spark常用算子总结
Yblsfls的博客
07-18 670
Spark常用算子总结 算子分类 大方向分类 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 　 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发 SparkCont...
JStorm/Strom配置executors和tasks（线程和实例）
nobody
08-16 3529
注意：JStorm马上融合到Strom内核了，这意味着以后没有Strom了。 配置executors和tasks（线程和实例） 请始终记得标题：executors和tasks（线程和实例），executors代表线程概念，tasks代表spout或bolt实例。 Storm默认会为每个组成（spout/bolt）创建一个任务（task），默认一个任务运行被一个线程（exe
Thinkphp 中 distinct 的用法解析
10-20
TP中distinct（）的用处主要是去除重复的值，下面我通过实例代码给大家介绍下Thinkphp 中 distinct 的用法，一起看看吧
oracle中distinct的用法详解
09-10
在Oracle数据库中，`DISTINCT` 是一个非常重要的SQL关键字，用于从查询结果中去除重复的行。在处理大量数据时，确保数据的唯一性是非常关键的，`DISTINCT` 关键字就是为此目的设计的。然而，由于其工作原理，`...
Java Spark算子：distinct
01-07
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD;... * distinct（）算子 * 去除RDD的重复元素。 * */ public class DistinctDemo { public static void main(String[] args) { S
mysql中去重 distinct用法
12-14
在MySQL数据库中，`DISTINCT` 是一个非常重要的SQL关键字，用于从查询结果中去除重复的行。在处理数据时，我们经常会遇到需要提取唯一值的情况，这时`DISTINCT`就能派上用场。以下是对`DISTINCT`用法的详细解释： 1...
spark中distinct函数去重原理
weixin_43866709的博客
03-21 762
spark中的distinct函数去重方式
Spark入门（十）之Distinct去重
茅坤宝骏氹的博客
07-08 1284
一、Distinct 计算文本里面的每个单词去重，输出结果。 二、maven设置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4...
Spark 算子之distinct使用
congge_study的博客
04-22 2773
Spark 算子之distinct使用
spark中distinct是如何实现的？
@coredao
03-09 1077
A1 总述： 去重 A2 思路： map -> resuceByKey -> map A3 源码： 3.1 有参： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x => (x, nu
Spark:distinct算子
weixin_48109576的博客
08-09 769
distinct是Tranformation算子,具有shuffle 功能:去重 源码 分区取设定分区或者按照核数 将rdd用map变为对偶元组,然后用reduceBykey, 我的理解为:reduceBykey是将key建返回,value取出第一个就不叠加了,局部聚合和全局聚合都用这一个函数 在用map取出key 代码实现 object DistinctDemo { def main(args: Array[String]): Unit = { val con...
大数据Spark面试，distinct去重原理，是如何实现的
hechaoyong12345的博客
06-07 2066
最近，有位朋友问我，distinct去重原理是怎么实现的？ “在面试时，面试官问他了解distinct算子吗？” “了解啊，Spark的rdd，一种transFormation去重的算子，主要用来去重的”。 “哟，看来你经常使用distinct算子，对distinct算子很熟悉啊”。 “好说，好说”。 “那你能说说distinct是如何实现去重的吗？” 我朋友支支吾吾半天：“就是这样、那样去重的啊”。 “这样、那样是怎么去重的呢” “具体有点忘记了(其实是根本就不知道)”。 那么disti
spark部分：distinct去重的原理
热门推荐
wyqwilliam的博客
08-27 1万+
 
spark 按某几列distinct去重、topN、窗口计算的应用
扎克begod的专栏
08-30 8127
        在spark计算当中，我们日常有些简单需求，比如去重，比如有四列（appid、date、type、platform），我们只需要对appid，date进行去重，另外两列不关注。在spark中，distinct会对所有列执行去重操作，两行比较，只要有个一列有差异，就不算重复。         要解决，只对某几列进行去重，可以使用Top N 的思路，也就是先分组，分组后，我们只取ro...
【Spark】Spark 优化操作之自定义 distinct
云祁QI
02-04 2532
因为默认的distinct算子操作效率太低，自己改写一下。 很简单 def mydistinct(iter: Iterator[(String, Int)]): Iterator[String] = { iter.foldLeft(Set[String]())((CurS, item) => CurS + item._1).toIterator } // mydistinct 的使用过...
spark中的distinct怎么用
最新发布
05-14
在Spark中，`distinct`函数可以用来返回RDD或DataFrame中不同元素的集合。 对于RDD，可以直接使用`distinct()`方法： ```python rdd = sc.parallelize([1, 2, 3, 1, 2, 3, 4, 5]) distinct_rdd = rdd.distinct() `...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值