ClickHouse 使用group by with cube将数字列的空值转换为字符

最新推荐文章于 2024-07-17 07:12:01 发布
最新推荐文章于 2024-07-17 07:12:01 发布
阅读量4.1k 收藏 4
点赞数 1
分类专栏： ClickHouse 文章标签： sql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46700208/article/details/108977090
版权
ClickHouse 使用group by with cube将数字列的空值转换为字符最近开始使用ClickHouse，发现部分语法和Hive有所出入。当使用Hive语法时，为了避免出现业务方对分析维度的经常性变动，保证代码的易于维护性，经常会在Hive中使用grouping sets。然而到了ClickHouse，发现竟然不支持grouping sets，不免有些忧伤，只能退而求其次，使用group by with cube。然而在使用时，不免出现了一些问题。当我们使用Hive进行grouping s
摘要由CSDN通过智能技术生成

ClickHouse 使用group by with cube将数字列的空值转换为字符

最近开始使用ClickHouse，发现部分语法和Hive有所出入。当使用Hive语法时，为了避免出现业务方对分析维度的经常性变动，保证代码的易于维护性，经常会在Hive中使用grouping sets。然而到了ClickHouse，发现竟然不支持grouping sets，不免有些忧伤，只能退而求其次，使用group by with cube。然而在使用时，不免出现了一些问题。

当我们使用Hive进行grouping sets或者group by with cube在数字列产生空值并且需要把空值转换为字符时，往往将空值通过nvl语法转换即可，然而到了ClickHouse却有些不同之处。

以如下数据为例，

product_id city_id order_id
1 40 10000
1 40 10001
1 41 10002
2 40 10003
2 40 10004
2 41 10005
2 41 10006

如需要按照PRODUCT_ID,CITY_ID,PRODUCT_ID&CITY_ID进行聚合时，代码如下


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  并不知道
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    4
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
大数据ClickHouse进阶（十三）：ClickHouse的GROUP BY 子句

				
			

			

				

					Lansonli（蓝深李）的博客
				

				

					09-21
					
					1760
					
				

			

		

		

			
				
Group By子句又称聚合查询，与MySQL或者Hive中的使用方式一样，但是需要注意一点在Select查询中如果有聚合查询，例如max,min等，与聚合查询出现的字段一定要出现在Group by中，否则语句报错。ClickHouse中的Group by 还可以配合WITH ROLLUP、WITH CUBE、WITH TOTALS三种修饰符获取额外的汇总信息。CUBE 是立方体意思，WITH CUBE会基于聚合键之间所有的组合生成小计信息。

			
		

	



                

              
                



	

		

			

				
					
DM8_SQL语言使用手册.pdf

				
			

			

				

					08-05
				

			

		

		

			
				
1.5.2 字符串表达式 ..................................................................................................13 1.5.3 时间值表达式 ................................................................

			
		

	



                


  
              

                


	

		

			

				
					
Clickhouse rollup和cube函数

				
			

			

				

					程志伟的博客
				

				

					07-26
					
					2401
					
				

			

		

		

			
				
关注微信公共号：小程在线







关注CSDN博客：程志伟的博客

ClickHouse server version 21.6.6

1.创建一个表结构

dblab-VirtualBox :) create table group_by (class String,sex String,age String) ENGINE = Memory;

CREATE TABLE group_by
(
  `class` String,
  `sex` String,
  `age` Stri...

			
		

	





	

		

			

				
					
clickhouse多维分析之rollup,cube操作

				
			

			

				

					mo
				

				

					08-11
					
					4674
					
				

			

		

		

			
				
首先先说明一下何为rollup与cube
rollup：字面意思为上卷,是GROUP BY子句的一种扩展，生成的结果集显示了所选列中值的某一层次结构的聚合，从右至左去掉维度进行小计。
例如group by中有三个维度a,b,c   那么生成的结果则是包含下面的四种情况

cube：也是GROUP BY子句的一种扩展，可以返回每一个列组合的小计记录，生成的结果集显示了所选列中值的所有组合的聚合，结果集的总数为2的n次方,其中n为维度的个数。
对于cube来说,例如group by中有三个维度a,b,c  那么

			
		

	



		

			
		



	

		

			

				
					
group by 用法解析_ClickHouse和他的朋友们（6）纯手工打造的SQL解析器

				
			

			

				

					weixin_39649611的博客
				

				

					11-26
					
					438
					
				

			

		

		

			
				
现实生活中的物品一旦被标记为“纯手工打造”，给人的第一感觉就是“上乘之品”，一个字“贵”，比如北京老布鞋。但是在计算机世界里，如果有人告诉你 ClickHouse 的 SQL 解析器是纯手工打造的，是不是很惊讶！这个问题引起了不少网友的关注，所以本篇聊聊 ClickHouse 的纯手工解析器，看看它们的底层工作机制及优缺点。枯燥先从一个 SQL 开始:EXPLAIN SELECT a,b FROM...

			
		

	





	

		

			

				
					
ClickHouse中的rollup、cube、totals操作

				
			

			

				

					weixin_53191998的博客
				

				

					01-31
					
					616
					
				

			

		

		

			
				
一文让你搞懂clickhouse中groupby的三大特点

			
		

	





	

		

			

				
					
ClickHouse

				
			

			

				

					m0_46339499的博客
				

				

					09-12
					
					346
					
				

			

		

		

			
				
ClickHouse
1、概述
1、俄国人使用c++编写
2、列式存储
3、开源
4、在线分析处理查询(OLAP)

2、原理概述
1、列式存储的好处：
对于列的聚合，计数更优
同一列的数据类型相同，压缩性能更好，更节省磁盘空间

2、写操作：
采用类似LSM tree 的结构，数据先顺序写入临时数据区，之后异步合并到主数据区，写入性能优异，单不支持删改行数据，也不支持事务

3、读操作：
clickhouse是单语句多线程，即一条查询语句可能是由多个线程完成的，而MySQL中一条查询语句只有一个线程，多个

			
		

	





	

		

			

				
					
ClickHouse踩坑指南

					
热门推荐

				
			

			

				

					u013473512的博客
				

				

					03-17
					
					16万+
					
				

			

		

		

			
				
创建单表建议首选MergeTree引擎(ClickHouse中最强大的表引擎当属 MergeTree引擎及该系列(*MergeTree)中的其他引擎。)，创建分布式表建议选择MergeTree + Distributed引擎，若保证高可用，建议选择ReplicatedMergeTree + Distributed引擎；
	针对当前ClickHouse版本，Nullable(DateTime)不生效，插入空值报错；
	在SQL解析方面，ClickHouse是大小写敏感的，这意味着SELECT a 和 SEL.

			
		

	





	

		

			

				
					
Oracle函数手册.zip

				
			

			

				

					03-17
				

			

		

		

			
				
 - `TO_CHAR()`: 除了在日期/时间上的应用，也可以用于将任何数据类型转换为字符串。  5. **聚合函数**：  - `COUNT()`: 计算行数。  - `SUM()`: 求和。  - `AVG()`: 计算平均值。  - `MAX()` 和 `MIN()`: 找出最大...

			
		

	





	

		

			

				
					
oralce11g 基本知识

				
			

			

				

					11-08
				

			

		

		

			
				
如果某个字段为空，运算结果也会为空，这时可以使用 `NVL()` 函数将空值转换为默认值，如 `NVL(sal, 0)`。  3. 列别名：为了简化输出或更清晰地表示列的意义，可以使用 `AS` 或直接跟别名来给列命名，如 `SELECT ...

			
		

	





	

		

			

				
					
Oracle常见用法

				
			

			

				

					03-28
				

			

		

		

			
				
`GROUP BY`用于将数据按指定列进行分组，常与聚合函数（如`COUNT`、`SUM`、`AVG`等）一起使用。  1. **基础分组**：`SELECT COUNT(*) AS 学生总数, class AS 班级 FROM school GROUP BY class`，按班级分组并计算每...

			
		

	





	

		

			

				
					
oracle函数

				
			

			

				

					07-08
				

			

		

		

			
				
GROUP BY CUBE(A, B, C)会生成(A,B,C), (A,B), (A,C), (B,C), (A), (B), (C), ()的结果。  四、其他函数 Oracle数据库还包括日期函数、字符串函数、数学函数等，如： - DATE函数：处理日期和时间数据，如SYSDATE获取...

			
		

	





	

		

			

				
					
clickhouse之函数（二）数组

				
			

			

				

					yuhui666666的博客
				

				

					01-19
					
					3734
					
				

			

		

		

			
				
字段分隔，数组操作示例：


SELECT arrayElement(splitByChar(',',colleague),1)FROM daily_new_clientrpt_master WHERE colleague != '' ORDER BY collect_timing DESC

SELECT arrayElement(splitByChar(',',colleague),1...

			
		

	





	

		

			

				
					
【clickhouse实践】clickhouse如何在查询中对某字段空值设置默认值及对Nullable值的处理

				
			

			

				

					qq_41018861的博客
				

				

					07-04
					
					5165
					
				

			

		

		

			
				
IFNULL函数用于将一个可空性列中的空值替换为指定的默认值。是要检查的列名，是用于替换空值的默认值。这些是笔者在生产实践中的学习的尝试的一些总结实践，特此备忘，也希望对大家有所帮助。

			
		

	





	

		

			

				
					
ClickHouse函数整理（详细）

				
			

			

				

					Fresh_man888的博客
				

				

					11-18
					
					4446
					
				

			

		

		

			
				
1、日期类函数 
1.1 时间或日期截取函数（to）—— 返回非日期 
函数用途举例结果toYear()取日期或时间日期的年份toYear(toDateTime(‘2018-12-11 11:12:13’)) toYear(toDate(‘2018-12-11’))返回 2018 返...

			
		

	





	

		

			

				
					
ISNULL()、NVL()、IFNULL()、COALESCE()

				
			

			

				

					我是60岁程序员
				

				

					10-17
					
					3632
					
				

			

		

		

			
				
我们使用如下 SELECT 语句：
SELECT ProductName,UnitPrice*(UnitsInStock+UnitsOnOrder)FROM Products
在上面的例子中，如果有 “UnitsOnOrder” 值是 NULL，那么结果是 NULL。
微软的 ISNULL() 函数用于规定如何处理 NULL 值。
NVL(), IFNULL() 和 COALESCE() 函数也可...

			
		

	





	

		

			

				
					
ClickHouse MergeTree 引擎

				
			

			

				

					lu_gt的专栏
				

				

					02-07
					
					1万+
					
				

			

		

		

			
				
请注意！本文相关内容可能已经过期，具体的 SQL 语法请参阅最新帮助文档，此版供参考MergeTree的原理以及概念。

MergeTree

MergeTree允许您依据主键和日期创建索引，并进行实时的数据更新操作。MergeTree是 ClickHouse 里最为先进的表引擎。请注意不要将MergeTree跟Merge引擎混淆。

MergeTree引擎在创建时接收以下4个参数，...

			
		

	





	

		

			

				
					
PostgreSQL 中如何解决因大量并发删除和插入操作导致的索引抖动？

					
最新发布

				
			

			

				

					技术笔记
				

				

					07-17
					
					683
					
				

			

		

		

			
				
索引抖动是 PostgreSQL 中一个常见的问题，它会对数据库的性能产生严重的影响。通过采用批量操作、分区表、索引优化和调整数据库参数等方法，我们可以有效地解决索引抖动问题，提高数据库的性能和稳定性。在实际应用中，我们应该根据具体情况选择合适的解决方案，并不断地进行优化和调整，以满足业务的需求。解决索引抖动问题就像是一场战斗，我们需要根据敌人（问题）的特点和弱点，选择合适的武器（解决方案），并灵活运用战术（优化方法），才能取得最终的胜利。

			
		

	





	

		

			

				
					
clickhouse group by  多个字典  当字段中存在空值是 统计数据不一致

				
			

			

				

					06-10
				

			

		

		

			
				
在 ClickHouse 中，对于使用字典进行 GROUP BY 操作时存在空值的字段，空值会被视为一个特殊的值。这可能会导致一些统计数据不一致的情况。

例如，假设有一个表 t，包含两个字典类型的字段 a 和 b：

```sql
CREATE TABLE t (
    a String,
    b String,
    c Int
) ENGINE = MergeTree()
ORDER BY (a, b);
```

如果对表 t 进行以下查询：

```sql
SELECT a, b, SUM(c)
FROM t
GROUP BY a, b
```

当字段 a 或 b 存在空值时，ClickHouse 会将这些空值视为一个特殊的值。这意味着在 GROUP BY 操作中，所有值为 null 的记录都会被分为同一组，从而导致统计数据不准确。

为了避免这种情况，可以考虑使用 COALESCE 函数将空值转换为一个特定的值。例如，可以将查询改为：

```sql
SELECT COALESCE(a, 'N/A') AS a, COALESCE(b, 'N/A') AS b, SUM(c)
FROM t
GROUP BY a, b
```

在这个查询中，使用 COALESCE 函数将空值转换为 'N/A'。这样，在 GROUP BY 操作中，所有值为 'N/A' 的记录会被分为一组，从而避免了空值导致的统计数据不准确的情况。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值