Spark 算子之distinct使用

最新推荐文章于 2023-03-21 15:21:23 发布
最新推荐文章于 2023-03-21 15:21:23 发布
阅读量2.7k 收藏 1
点赞数 8
分类专栏： spark 入门到精通 文章标签： Spark中distinct Spark之distinct
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/congge_study/article/details/124356121
版权
本文介绍了Spark中distinct函数的使用，通过函数签名和案例分析，展示了如何对数据集进行去重操作，帮助理解其在数据处理中的作用。
摘要由CSDN通过智能技术生成

前言

相信使用过mysql的同学对sql语句中distinct关键字并不陌生，使用distinct关键字可以对查询的数据进行去重操作，在Spark 中，可以做类似的理解；

函数签名

def distinct()(implicit ord: Ordering[T] = null): RDD[T]
def distinct( numPartitions: Int )(implicit ord: Ordering[T] = null): RDD[T]

函数说明

将数据集中重复的数据去重

案例：对集合中的一组数字去重


                

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  逆风飞翔的小叔
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    8
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
spark5种去重方式,快速去重

				
			

			

				

					qq_39285950的博客
				

				

					01-01
					
					6861
					
				

			

		

		

			
				
双重group by将去重分成了两步,是分组聚合运算,group by操作能进行多个reduce任务并行处理,每个reduce都能收到一部分数据然后进行分组内去重,不再像distinct只有一个reduce进行全局去重.sql中最简单的方式,当数据量小的时候性能还好.当数据量大的时候性能较差.因为distinct全局只有一个reduce任务来做去重操作,极容易发生数据倾斜的情况,整体运行效率较慢.DataFrame中,可以先将分区内数据进行排序,然后通过dropDuplicates将重复的数据删除.

			
		

	



                

              
                



	

		

			

				
					
大数据Spark面试，distinct去重原理，是如何实现的

				
			

			

				

					hechaoyong12345的博客
				

				

					06-07
					
					2094
					
				

			

		

		

			
				
最近，有位朋友问我，distinct去重原理是怎么实现的？

“在面试时，面试官问他了解distinct算子吗？”

“了解啊，Spark的rdd，一种transFormation去重的算子，主要用来去重的”。

“哟，看来你经常使用distinct算子，对distinct算子很熟悉啊”。

“好说，好说”。

“那你能说说distinct是如何实现去重的吗？”

我朋友支支吾吾半天：“就是这样、那样去重的啊”。

“这样、那样是怎么去重的呢”

“具体有点忘记了(其实是根本就不知道)”。

那么disti

			
		

	



                


  
              

                


	

		

			

				
					
Spark distinct

				
			

			

				

					qq_43192537的博客
				

				

					11-28
					
					516
					
				

			

		

		

			
				
Spark distinct

			
		

	





	

		

			

				
					
Spark入门（十）之Distinct去重

				
			

			

				

					茅坤宝骏氹的博客
				

				

					07-08
					
					1296
					
				

			

		

		

			
				
一、Distinct

计算文本里面的每个单词去重，输出结果。



二、maven设置


<?xml version="1.0" encoding="UTF-8"?>
 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4...

			
		

	



		

			
		



	

		

			

				
					
spark--transform算子--distinct

				
			

			

				

					书灯的博客
				

				

					07-18
					
					462
					
				

			

		

		

			
				
distinct方法用于对本身的数据集进行去重处理

			
		

	





	

		

			

				
					
spark中distinct函数去重原理

					
最新发布

				
			

			

				

					weixin_43866709的博客
				

				

					03-21
					
					854
					
				

			

		

		

			
				
spark中的distinct函数去重方式

			
		

	





	

		

			

				
					
Java Spark算子：distinct

				
			

			

				

					01-07
				

			

		

		

			
				
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD;... * distinct（）算子  * 去除RDD的重复元素。  *  */ public class DistinctDemo {  public static void main(String[] args) {  S

			
		

	





	

		

			

				
					
25个经典Spark算子的JAVA实现

				
			

			

				

					08-16
				

			

		

		

			
				
根据给定文件的信息，本文将详细介绍25个经典Spark算子的Java实现，并结合详细的注释及JUnit测试结果，帮助读者更好地理解Spark算子的工作原理及其应用方式。  ### Spark算子简介  在Apache Spark框架中，算子是用于...

			
		

	





	

		

			

				
					
Spark算子--Scala版本(头歌)

				
			

			

				

					m0_53510670的博客
				

				

					06-14
					
					3448
					
				

			

		

		

			
				
第1关转换算子之map和distinct算子





代码如下：



importorg.apache.spark.rdd.RDD

importorg.apache.spark.{SparkConf,SparkContext}



objectEduCoder1{

  defmain(args:Array[String]):Unit={

  valconf=newSparkConf().setAppName("educoder1").setMaster...

			
		

	





	

		

			

				
					
Educoder中Spark算子--Scala版本

				
			

			

				

					weixin_46026136的博客
				

				

					05-13
					
					630
					
				

			

		

		

			
				
第1关：转换算子之map和distinct算子



import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object EduCoder1 {
    def main(args: Array[String]): Unit = {
    val conf =new SparkConf().setAppName("educoder1").setMaster("local")
    val sc

			
		

	





	

		

			

				
					
【Spark】Spark 优化操作之自定义 distinct

				
			

			

				

					云祁QI
				

				

					02-04
					
					2540
					
				

			

		

		

			
				
因为默认的distinct算子操作效率太低，自己改写一下。
很简单
def mydistinct(iter: Iterator[(String, Int)]): Iterator[String] = {
  iter.foldLeft(Set[String]())((CurS, item) => CurS + item._1).toIterator
}

// mydistinct 的使用过...

			
		

	





	

		

			

				
					
Spark Sql之count(distinct)分析&&学习&&验证

				
			

			

				

					南风知我意
				

				

					08-27
					
					4689
					
				

			

		

		

			
				
先说结论：spark sql和hive不一样，spark对count(distinct)做了group by优化

>在hive中count().
>hive往往只用一个 reduce 来处理全局聚合函数，最后导致数据倾斜；在不考虑其它因素的情况下，我们的优化方案是先 group by 再 count ...

			
		

	





	

		

			

				
					
spark中distinct是如何实现的？

				
			

			

				

					@coredao
				

				

					03-09
					
					1098
					
				

			

		

		

			
				
A1 总述：
去重
A2 思路：
map -> resuceByKey -> map
A3 源码：
3.1 有参：
 /**
   * Return a new RDD containing the distinct elements in this RDD.
   */
  def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
    map(x => (x, nu

			
		

	





	

		

			

				
					
Spark RDD distinct 算子

				
			

			

				

					BITDDD小栈
				

				

					05-29
					
					2481
					
				

			

		

		

			
				
一.引言

使用spark很久第一次用到 distinct 算子，趁热打铁熟悉一下 distinct 的操作。



二.源码




			
		

	





	

		

			

				
					
Spark SQL distinct分析优化总结

				
			

			

				

					Code_zhu的博客
				

				

					03-29
					
					7083
					
				

			

		

		

			
				
Spark count distinct原理



由于distinct过程会导致数据膨胀，导致shuffle、reduce双端数据倾斜，因此distinct算子操作特别慢

distinct慢的主要原因：

数据膨胀原理：


select 
    count(distinct id),
    count(distinct name) 
from table_a


	distinct算子在处理过程中是将distinct后的字段和group by字段共同作为key传入reduce，导致shuffle.

			
		

	





	

		

			

				
					
Spark:distinct算子

				
			

			

				

					weixin_48109576的博客
				

				

					08-09
					
					778
					
				

			

		

		

			
				
distinct是Tranformation算子,具有shuffle

功能:去重

源码

分区取设定分区或者按照核数




将rdd用map变为对偶元组,然后用reduceBykey,

我的理解为:reduceBykey是将key建返回,value取出第一个就不叠加了,局部聚合和全局聚合都用这一个函数

在用map取出key

代码实现


object DistinctDemo {


  def main(args: Array[String]): Unit = {
    val con...

			
		

	





	

		

			

				
					
spark之distinct去重原理

				
			

			

				

					我的祖传代码
				

				

					04-08
					
					2369
					
				

			

		

		

			
				
distinct算子原理：



贴上spark源码：


  /**
   * Return a new RDD containing the distinct elements in this RDD.
   */
  def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope ...

			
		

	





	

		

			

				
					
5、Spark_RDD算子——Union

				
			

			

				

					weixin_39025328的博客
				

				

					10-10
					
					339
					
				

			

		

		

			
				
一、SparkUtils工具类
import org.apache.spark.{SparkConf, SparkContext}

object SparkUtils {
  /**
   *  默认的master url路径
   */
  val DEFAULT_MASTER = "local[*]"
  /**
   * 默认master为local[*]的获取sparkContext
   */
  def getSparkContext(appName:String):SparkContext 

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
逆风飞翔的小叔

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值