【hive】count distinct时遇到的坑

最新推荐文章于 2023-07-24 18:00:52 发布
最新推荐文章于 2023-07-24 18:00:52 发布
阅读量2.8k 收藏 9
点赞数 2
分类专栏： 大数据 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43619485/article/details/107836093
版权
在Hive和MySQL中，使用count(distinct a,b)计算联合去重时，若a或b中存在NULL值，该行将不被计入计数。这可能导致实际结果与预期不同。为避免这种情况，建议在存储数据时对NULL值进行处理，如转换为'UNKNOWN'等特定字符串。" 87917529,7500938,Kubernetes集群插件部署实战：Dashboard、Heapster与Metrics-Server,"['Kubernetes', '监控', '日志管理']
摘要由CSDN通过智能技术生成

先说结论

使用count distinct计算两列联合去重时，若有任何一列为NULL，那么count计数时就会略过这一条。
如：count(distinct a,b) 若a或者b中有一个是null，那么这一行就不会参与计数
平台：hive、mysql都是如此

1、给一张测试表如下：
表名设为test，注意第三行的name是null，空值

id tools name
1 hive a
2 hive b
3 hive NULL

2、观察下方执行结果：

select distinct tools,name from test
tools name
hive a
hive b
hive NULL

3、观察下方代码执行结果


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  波波菜鸟
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    9
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
hive优化建议.docx

				
			

			

				

					12-21
				

			

		

		

			
				
首先，我们来关注一个常见的问题——慎用 `count(distinct(columnA))` 函数。在处理大数据集时，这个操作可能导致数据倾斜，即某些Reducer处理的数据远多于其他Reducer，从而严重影响性能。为解决这个问题，建议使用...

			
		

	



                

              
                



	

		

			

				
					
Hive进行数据处理1

				
			

			

				

					08-03
				

			

		

		

			
				
select count(distinct uvid) as uv from dataclear where reportTime='2018-09-17';  （3）VV计算：  select count(distinct ssid) as vv from dataclear where reportTime='2018-09-17';  （4）跳出率计算：  ...

			
		

	



                


  
              

                


	

		

			

				
					
count()和distinct关键字的使用

					
热门推荐

				
			

			

				

					
				

				

					09-11
					
					3万+
					
				

			

		

		

			
				
distinct关键字

distinct关键字是用于去除重复的数据记录。distinct使用情况：

（1）select distinct * 情况

当distinct和*号结合使用时候，只有当所有字段都一模一样时候，才会去除重复记录，只保留一条。

（2）select distinct 列名1，列名2，...，列名n 情况

当指定列名后，只有指定的列名字段全部值全部相同时候，才会去除重复的记录，只保留一条。


注意：distinct关键字只能放在所有字段前面，不能在某个字段之后。


count(

			
		

	





	

		

			

				
					
Hive中使用Distinct踩到的坑

				
			

			

				

					UncleMing5371的博客
				

				

					12-24
					
					3483
					
				

			

		

		

			
				
问题描述：

在使用Hive的过程中，用Distinct对重复数据进行过滤，得出了一个违背认知的结果，百思不得其解。

假设：test表中有100W数据，对test表按照a, b, c, d, e去重。

一、使用Distinct的SQL如下：


SQL1 ：select count(distinct a, b, c, d, e) from test; 

得出结果： 2W+。

根据数据特点第...

			
		

	



		

			
		



	

		

			

				
					
Mysql的distinct作用和排坑

				
			

			

				

					Koikoi12的博客
				

				

					11-01
					
					1227
					
				

			

		

		

			
				
概念
distinct不是函数，而是select的一部分，很多教程在介绍distinct这一块儿的时候都会写SELECT DISTINCT 语句。
语法：
SELECT DISTINCT column1,column2,... FROM table_name;

distinct是根据后面字段组合（column1,column2,…）去重，而不是根据column1去重。
用法
表A：

表B:

1.作用于单列
select distinct name from A

执行后结果如下：

2.作用于多列
s

			
		

	





	

		

			

				
					
hive count distinct count(distinct Columns)  Columns为多列时慎用，有坑！！！

				
			

			

				

					lquarius的博客
				

				

					01-30
					
					3195
					
				

			

		

		

			
				
1，问题

   表中实际无重复数据，但是经过count(distinct imei,wifi,ssid)，数据量变少了。





2，原因

  distinct 多列时任意列为null值，均返回null，hive的count()函数对空值是不做处理的，所以数据减少

3，验证

 

4，解决办法

  4.1，将distinct后列用小括号括起来（所有列均为null...

			
		

	





	

		

			

				
					
39.  hive 在使用 count(distinct ) over 时报错，提示 Expression not in GROUP BY key

				
			

			

				

					元元的李树专栏
				

				

					01-20
					
					1694
					
				

			

		

		

			
				
hive 在使用 count(distinct ) over 时报错，提示FAILED: SemanticException [Error 10025]: Line 1:123 Expression not in GROUP BY key解决办法

参考了很多帖子，都没有说明解决办法。

我给出一个折中的参考方案，在聚合前，先将数据去重，再cout() over 即可。

下面给出我的参考范...

			
		

	





	

		

			

				
					
hive踩坑记录：count(distinct col1,col2) 遇见某列中有null值，结果不准

				
			

			

				

					diudiu2025的博客
				

				

					12-28
					
					3212
					
				

			

		

		

			
				
count(distinct col1,col2) 遇见某列中中有null值，结果不准

SELECT count(DISTINCT col1,col2)

from

(SELECT 2 as col1,1 as col2

union all

SELECT null as col1,2 as col2

union all

SELECT null as col1,3 as col2

un...

			
		

	





	

		

			

				
					
Hive Sql – Multi Distinct（多个distinct在同一个query中） 优化

				
			

			

				

					01-07
				

			

		

		

			
				
1、如果不要求精确值，可以使用 spark-sql approx_count_distinct函数 （基数计数 hyperloglog） 2、修改SQL 基础数据准备如下， 需要计算 不同渠道下的 不同周期 的访问uv presto:bi> desc tmp.multi_distinct_test...

			
		

	





	

		

			

				
					
hive.ziphive数据迁移和数据分析

					
最新发布

				
			

			

				

					01-10
				

			

		

		

			
				
这可以通过运行SELECT查询来检查部分样本数据，或者通过JOIN、COUNT DISTINCT等操作来验证数据的一致性。  二、ZipFile压缩格式  在Hive中，数据文件通常会进行压缩，以节省存储空间并优化I/O性能。ZipFile是一种...

			
		

	





	

		

			

				
					
大数据开发+hive优化方法大全+hql优化

				
			

			

				

					11-24
				

			

		

		

			
				
Hive 3.0 之后，通过配置`hive.optimize.countdistinct`，可以进一步优化`count(distinct)`，解决数据倾斜问题。  2. **数据格式优化**  - Hive 支持多种数据存储格式，如TEXT、SequenceFile、RCFile、ORC和Parquet...

			
		

	





	

		

			

				
					
大数据开发之Hive案例篇5- count(distinct) 优化一例

				
			

			

				

					只是甲的博客
				

				

					05-24
					
					348
					
				

			

		

		

			
				
因为本身是离线数据，此时可以借助临时表，首先把每个用户首次访问的时间记录下来，这样就可以将处理的数据大大减少，最后再通过开窗函数处理即可。一般一个reduce处理的数据是1G，所以首先想能不能增加reduce的个数来调优上述Hive SQL。SQL也是因为 count(distinct)的存在，导致reduce数分配少了，进而出现数据性能问题。上述SQL所代表的业务逻辑是求截止当前每分钟的用户访问数(如出现多次，只算一次)经验证，调整了上述参数后，问题依旧没有得到解决。

			
		

	





	

		

			

				
					
SQL中的count语句

				
			

			

				

					生活在继续
				

				

					08-18
					
					3473
					
				

			

		

		

			
				
count (* )                --总数 
    count (nullif (1 , 1 ))        --永远返回0 
    count (a )                --a数量 
    count (b)                --b数量 
    count (distinct a )        --a不重复数量 
    c

			
		

	





	

		

			

				
					
count(distinct xxx) 与distinct  ； count（case when  ）

				
			

			

				

					waj89757的专栏
				

				

					05-02
					
					1万+
					
				

			

		

		

			
				
select a,b,c
select a,b,distinct c   不对 distinct必须是对所有字段排重，必须写在外面。
select distinct a,b,c




第二种   也叫转置   主要理解意思
select a,count(distinct b) ....group by a

按照a，汇总不同的b。




1    1
1

			
		

	





	

		

			

				
					
count(distinct())效率优化

				
			

			

				

					eagle89的专栏
				

				

					09-16
					
					2万+
					
				

			

		

		

			
				
如何提升自身sql效率，更快得到想要的数据，是每一个使用sql的同学都需要学习和关注的事情。

sql作为面向大众的数据提取工具，除了研发、数据分析师，产品经理及业务运营同学也都有应用需求。只要sql无语法错误，保持等待，或长或短都是可以输出结果的。但是在数据量庞大或数据逻辑复杂时，或碰上线上资源紧张，或者好不容易等了3小时、结果发现数据有点异常需要修改后重跑，不知道有没有同学有相同的经历。

低效是每位同学都不乐见的，而避免这个问题就要求我们学习优化sql的方法，从而减少自己等数的焦虑时光。

而其中最常

			
		

	





	

		

			

				
					
distinct 不能用于count(*) 的原因

				
			

			

				

					滕青山博客
				

				

					05-06
					
					2244
					
				

			

		

		

			
				
举一个简单的例子，假设你有两列，A和B.


A B 
1 100 
2 100 
3 100 


有三种不同的A值，但只有一个B值。

COUNT(DISTINCT *)将不可能返回单个有意义的值，因为不知道是要以A列还是B列为基准来汇总。这就是为什么该语法无法工作的原因。



正确的方法是这样的：


SELECT COUNT(*) FROM 
(
    SELECT DISTINCT * FROM dbo.t_test 
) T1





可以使用count(distinct A)...

			
		

	





	

		

			

				
					
count(*), count(字段)，count(distinct 字段) 算不算 NULL

				
			

			

				

					laidongxu666的博客
				

				

					07-24
					
					339
					
				

			

		

		

			
				
2. distinct 字段 ，count(*)， count(1)  算 NULL。1. count(字段)，count(distinct 字段) 不算 NULL。

			
		

	





	

		

			

				
					
数据库去重汇总 count(distinct xxx) 与distinct ； count（case when ）

				
			

			

				

					yuhui666666的博客
				

				

					01-09
					
					3234
					
				

			

		

		

			
				
总括：
SELECT
T.dept_one as "部门",
COUNT(DISTINCT (
 CASE
  WHEN (is_week='1') THEN
  name
 ELSE
 NULL
 end
)) as "周活" 

FROM 
(SELECT m.*, s.event_property_code,s.event_property_value FROM ...

			
		

	





	

		

			

				
					
mysql  count  与 distinct 混合使用结果不同

				
			

			

				

					原谅我一生不羁的博客
				

				

					07-20
					
					1万+
					
				

			

		

		

			
				

distinct 会将所有NULL合并为一项
count(distinct)会将NULL除去。



			
		

	





	

		

			

				
					
hive count distinct优化

				
			

			

				

					03-16
				

			

		

		

			
				
Hive count distinct的优化可以从以下几个方面入手：  1. 数据倾斜问题：如果某个字段的值分布不均匀，可能会导致某些reduce节点的负载过重，从而影响整个查询的性能。可以通过对数据进行分桶、分区等方式来解决数据...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值