clickhouse 常用语法规则优化策略详解

已于 2022-12-17 15:17:04 修改
阅读量3.7k 收藏 40
点赞数 52
分类专栏： clickhouse 入门到精通 文章标签： clickhouse语法优化 clickhouse规则优化 clickhouse优化策略
于 2022-12-12 21:34:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/congge_study/article/details/128226951
版权
本文深入探讨ClickHouse的查询优化策略，包括count()函数的优化、子查询重复字段消除、谓词下推、聚合计算外推、删除重复聚合字段以及标量替换等。通过对具体案例的执行计划分析，揭示了ClickHouse如何提升查询效率。
摘要由CSDN通过智能技术生成

一、前言

在之前的文章中，我们了解到clickhouse作为一款列式存储数据库 ，查询性能非常高效，一方面与其自身的存储引擎设计有关，另一方面，在执行查询语句时，底层做了大量的语法规则的优化，本文将详细介绍clickhouse的常用优化策略。

二、环境准备

从官方下载两个测试数据文件，这两个文件中表的数据量接近千万，用于做实验的数据；

三、准备数据操作步骤

1、上传测试数据包到服务器目录

2、解压文件到clickhouse的数据目录

clickhouse的默认数据目录在 ： /var/lib 下


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  逆风飞翔的小叔
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
clickhouse 常用查询优化策略详解

				
			

			

				

					congge_study的博客
				

				

					02-15
					
					5305
					
				

			

		

		

			
				
clickhouse 常用查询优化策略

			
		

	



                

              
                



	

		

			

				
					
详解 ClickHouse 的语法优化规则

					
最新发布

				
			

			

				

					weixin_44480009的博客
				

				

					06-23
					
					654
					
				

			

		

		

			
				
ClickHouse 的 SQL 优化规则是基于 RBO(Rule Based Optimization)

			
		

	



                


  
              

                


	

		

			

				
					
ClickHouse的语句优化策略

				
			

			

				

					qq_43662627的博客
				

				

					09-12
					
					981
					
				

			

		

		

			
				
一 使用执行计划
ClickHouse官网执行计划详解
平常写sql的时候，有时候因为我们的有限的水平，写出的sql很差，ck为我们提供了执行计划查询的方法，通过此，我们可以优化我们的sql
#官网的执行计划查看
EXPLAIN [AST | SYNTAX | PLAN | PIPELINE] [setting = value, ...] SELECT ... [FORMAT ...]

以简单的sql
select  groupArray(item_id) from user prewhere  toYe

			
		

	





	

		

			

				
					
ClickHouse-语法优化规则

				
			

			

				

					qq_38304392的博客
				

				

					04-21
					
					304
					
				

			

		

		

			
				
ClickHouse 的 SQL 优化规则是基于 RBO(Rule Based Optimization)，下面是一些优化规则
以下规则中使用了ClickHouse官方测试数据集，数据集使用步骤移步这里。
1.COUNT优化
在调用 count 函数时，如果使用的是 count() 或者 count(*)，且没有 where 条件，则会直接使用 system.tables 的 total_r...

			
		

	



		

			
		



	

		

			

				
					
ClickHouse之建表优化和底层语法优化（谓词下推等）

				
			

			

				

					致力于不留技术债务cuizb.top
				

				

					12-16
					
					2676
					
				

			

		

		

			
				
一 建表优化
1 数据类型
1.1 时间字段的类型
1.2 空值存储类型
2 分区和索引
3 表参数
4 写入和删除优化
5 常见配置
5.1 CPU 资源
5.2 内存资源
5.3 存储
二 CK底层语法优化
1 count优化
2消除子查询重复字段
3 谓词下推
4 聚合计算外推
5 聚合函数消除
6 删除重复的 order by key
7 删除重复的 limit by key
8 删除重复的 USING Key
9 标量替换
10 三元运算优化

			
		

	





	

		

			

				
					
一文掌握 clickhouse 语法优化规则

				
			

			

				

					zll_1234的博客
				

				

					12-22
					
					901
					
				

			

		

		

			
				
一文掌握 clickhouse 语法优化规则

			
		

	





	

		

			

				
					
ClickHouse详解

					
热门推荐

				
			

			

				

					我思，顾我在
				

				

					10-27
					
					3万+
					
				

			

		

		

			
				
一 clickhouse-简介
​     ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 ClickHouse的全称是Click Stream，Data WareHouse，简称ClickHouse
实时数据  ,事件,快
[外链图片转存失

			
		

	





	

		

			

				
					
ClickHouse引擎详解

				
			

			

				

					weixin_59295776的博客
				

				

					03-12
					
					1929
					
				

			

		

		

			
				
共同属性数据存储在磁盘上 写入时将数据追加在文件末尾 不支持突变(Mutation)操作 不支持索引（这意味着。

			
		

	





	

		

			

				
					
ClickHouse实践

				
			

			

				

					chenlei0520的博客
				

				

					02-08
					
					492
					
				

			

		

		

			
				
ClickHouse使用

			
		

	





	

		

			

				
					
ClickHouse 入门语法了解

				
			

			

				

					一数博客
				

				

					06-05
					
					699
					
				

			

		

		

			
				
ClickHouse 语法学习2020DDL建表语句创建视图DML插入操作查询操作日期操作
DDL
建表语句
create table temp.table_name(
sold_time_partition_key Date, 	---默认分区键字段
id Int32,	----integer类型在CK中是默认以Int32为主
user_name String,	---character varying/char 中默认字符类型为String
pass_word Nullable(String), ---

			
		

	





	

		

			

				
					
clickhouse基础语法简介

				
			

			

				

					花&败
				

				

					04-04
					
					845
					
				

			

		

		

			
				
1.常用SQL语法



-- 列出数据库列表
show databases;
 
-- 列出数据库中表列表
show tables;
 
-- 创建数据库
create database test;

--选中数据库
use test;
 
-- 删除一个表
drop table if exists test.t1;
 
-- 创建第一个表
create /*temporary*/ table /*if not exists*/ test.m1 (
 id UInt16
,name String
) EN

			
		

	





	

		

			

				
					
【clickhouse】clickhouse 解析器

				
			

			

				

					九师兄
				

				

					02-21
					
					795
					
				

			

		

		

			
				
1.概述
ClickHouse 中有两种类型的解析器， full parser 和 data format parser ，前者是一个完整的 SQL 解析器，后者是一个高性能的流解析器。当语句被发到 ClickHouse 时，默认配置下前 1 MB 字节的数据会使用 full parser 来处理，剩下的数据就交给 data format parser了，所以，像 insert 这类语句，即使整个语句再长，也不会有问题。
语法细节，整体上跟 MySQL 是一样的，当然， ClickHouse 在一些地方有自

			
		

	





	

		

			

				
					
ClickHouse性能优化

				
			

			

				

					赵广陆
				

				

					04-22
					
					2608
					
				

			

		

		

			
				
目录
1 Explain查看执行计划优化sql
1.1 基本语法
1.2 案例实操
1.2.1 查看 PLAIN
1.2.2 AST 语法树
1.2.3 SYNTAX 语法优化
1.2.4 查看 PIPELINE
2 ClickHouse建表优化
2.1 数据类型
2.1.1 时间字段的类型
2.1.2 空值存储类型
2.2 分区和索引
2.3 表参数
2.4 写入和删除优化
2.5 常见配置
2.5.1 CPU 资源
2.5.2 内存资源
2.5.3 存储
3 ClickHouse语法优化规则

			
		

	





	

		

			

				
					
Clickhouse基础和基本优化

				
			

			

				

					m0_57697768的博客
				

				

					07-15
					
					1017
					
				

			

		

		

			
				
Clickhouse基本语法优化，基本概念，列式存储和行式存储的区别

			
		

	





	

		

			

				
					
clickhouse 查询优化_查询提升 200 倍，ClickHouse 你值得拥有！

				
			

			

				

					weixin_31857829的博客
				

				

					02-06
					
					355
					
				

			

		

		

			
				
作者：起个帅的名来源：https://juejin.im/post/6863283398727860238ClickHouse 是 Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快 100-1000 倍。ClickHouse 的性能超过了目前市场上可比的面向列的 DBMS，每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。C...

			
		

	





	

		

			

				
					
浅谈ClickHouse查询优化

				
			

			

				

					weixin_59801183的博客
				

				

					10-24
					
					1023
					
				

			

		

		

			
				
ClickHouse是一个高性能的列式数据库管理系统，适用于实时分析和大数据处理。为了提高查询性能，ClickHouse采用了多种查询优化技术，如索引、数据预取、查询重写和执行计划。本文将详细讲解这些查询优化技术，以及如何在实际应用中使用它们。

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 87

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
逆风飞翔的小叔

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值