Apache Doris (十六) ：Doris分区和分桶2-List分区

已于 2023-07-04 20:42:12 修改
阅读量1.3k 收藏 1
点赞数 1
分类专栏： Apache Doris 大数据OLAP体系技术栈 文章标签： database sql 数据库 数据仓库 etl apache
于 2023-07-04 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131525481
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 32 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 34 订阅
订阅专栏
本文介绍了Apache Doris的List分区特性，包括创建List分区表的方式、增删分区操作以及多列分区的实现。通过示例展示了如何定义和管理List分区，帮助理解如何根据枚举值进行数据分区。
摘要由CSDN通过智能技术生成

目录

1. List分区

1.1 创建List分区方式

1.2 增删分区

​​​​​​​1.3 多列分区

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

1. List分区

业务上，用户可以选择城市或者其他枚举值进行partition，对于这种枚举类型数据列进行分区就可以使用List分区。List分区列支持 BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME, CHAR, VARCHAR 数据类型，分区值为枚举值。只有当数据为目标分区枚举值其中之一时，才可以命中分区。

1.1 创建List分区方式

Partition 支持通过 VALUES IN (...) 来指定每个分区包含的枚举值。举例如下，创建List分区表example_db.example_list_tbl1如下：


                

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    


                



	

		

			

				
					
Apache Doris的分区与分桶详解

				
			

			

				

					大模型大数据攻城狮的专栏
				

				

					10-09
					
					984
					
				

			

		

		

			
				
Apache Doris，一款高性能的分布式分析型数据库，其起源可追溯至Apache Incubator项目中的Palo。通过深度融合MPP（Massively Parallel Processing）架构与列式存储技术，Doris专为应对大数据环境下的复杂查询与实时分析挑战而诞生。随着全球数据量呈现爆炸式增长，Apache Doris以其杰出的性能表现和灵活多变的数据管理能力，逐渐脱颖而出，成为众多企业解决大数据难题的优选方案。

			
		

	



                

            
              



	

		

			

				
					
Apache Doris的分区与分桶原理解析

				
			

			

				

					JustinMars的博客
				

				

					07-05
					
					567
					
				

			

		

		

			
				
合理的分区和分桶策略在 Apache Doris 中至关重要。通过选择合适的分区列和分桶列，合理设置分区范围和桶数，充分利用分区裁剪和并行查询技术，可以显著提升查询性能和数据管理效率。根据实际业务场景和数据特点，动态调整分区和分桶策略是优化的重要环节。

			
		

	



              


  
              

                


	

		

			

				
					
Doris多列分区的问题（v1.2.2）

				
			

			

				

					da_dou_dou的博客
				

				

					03-27
					
					284
					
				

			

		

		

			
				
doris学习建表，遇到的疑问，partition key

			
		

	





	

		

			

				
					
下一代实时数据库：Apache Doris 【六】数据划分

				
			

			

				

					Maynor的博客 
				

				

					12-18
					
					1135
					
				

			

		

		

			
				
如果不使用 Partition ，则描述的是对整个表的数据的划分规则。此时，当多个点查询并发时， 这些查询有较大的概率分别触发不同的分桶扫描， 各 个查询之间的 IO 影响较小(尤其当不同桶分布在不同磁盘上时) ，所以这种方式适合 高并发的点查询场景。如按天分区，当每天的数 据量差异很大时， 可以通过指定分区的分桶数，合理划分不同分区的数据,分桶列建议选择 区分度大的列。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时 扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。

			
		

	



		

			
		



	

		

			

				
					
Doris分区、分片、副本的基本命令、修复副本思路

					
最新发布

				
			

			

				

					Hibiki的博客
				

				

					12-18
					
					1065
					
				

			

		

		

			
				
如果使用以上方法进行副本修复，还未成功，或者是Mater FE 显示报错日志则需要进行删除数据，重新写入数据。5.按需关闭colocation表的调度任务,集中集群资源修复其他他高优数据。4.使用更保守的策略触发修复任务,以应对BE频繁宕机导致的雪崩效应。1.找到导致高优任务报错的tablet,将有问题的副本置为bad。这个日志表示，Tablet 20000 的所有副本已损坏或丢失。当确认数据已经无法恢复后，可以通过执行以下命令，生成空白副本。原因为该分区里面只有一个副本，无法将该副本重新填充覆盖。

			
		

	





	

		

			

				
					
Doris多列分区操作

				
			

			

				

					wangleigiser的博客
				

				

					12-02
					
					765
					
				

			

		

		

			
				
Doris多列分区操作

			
		

	





	

		

			

				
					
Doris按天/月分区介绍及使用【Range 分区和List 分区】

				
			

			

				

					weixin_42326851的博客
				

				

					06-24
					
					5930
					
				

			

		

		

			
				
Doris按天/月分区介绍及使用【Range 分区和List 分区】

			
		

	





	

		

			

				
					
doris批量创建分区，shell脚本

				
			

			

				

					qq_40382400的博客
				

				

					01-30
					
					433
					
				

			

		

		

			
				
【代码】doris批量创建分区，shell脚本。

			
		

	





	

		

			

				
					
Apache Doris (十五) ：Doris分区和分桶1-Range分区

				
			

			

				

					qq_32020645的博客
				

				

					07-03
					
					595
					
				

			

		

		

			
				
Doris 支持两层的数据划分：第一层是 Partition，即分区。用户可以指定某一维度列作为分区列（Ranger分区），并指定每个分区的取值范围，分区支持 Range 和 List 的划分方式。第二层是 Bucket分桶（Tablet），仅支持 Hash 的划分方式，用户可以指定一个或多个维度列以及桶数对数据进行 HASH 分布或者不指定分桶列设置成 Random Distribution对数据进行随机分布。

			
		

	





	

		

			

				
					
Apache Doris (十八) ：Doris分区和分桶4-Random Distribution 及复合分区使用场景

				
			

			

				

					qq_32020645的博客
				

				

					07-06
					
					411
					
				

			

		

		

			
				
如果OLAP表的是Random Distribution的数据分布，那么在数据导入的时候可以设置单tablet导入模式（将load_to_single_tablet 设置为 true），那么在大数据量的导入的时候，一个任务在将数据写入对应的分区时将只写入一个tablet分片，这样将能提高数据导入的并发度和吞吐量，减少数据导入和Compaction导致的写放大问题，保障集群的稳定性。”直接指定RANDOM，默认BUCKETS为10。当然用户也可以不使用复合分区，即使用单分区，则数据只做 HASH 分布。

			
		

	





	

		

			

				
					
Apache Doris 系列：基础篇-创建动态分区表

				
			

			

				

					修破立生
				

				

					11-15
					
					2062
					
				

			

		

		

			
				
Apache Doris 系列：基础篇-创建动态分区表

			
		

	





	

		

			

				
					
【Doris 】Doris 分区与分桶

				
			

			

				

					m0_54252387的博客
				

				

					07-09
					
					834
					
				

			

		

		

			
				
分区与分桶秉承着"大而化小，分而治之"的目标，目的都是为了便于查询，提高查询的效率。分区的定义: 对数据进行水平切分，水平切分之后数据是完全物理隔离的，每个分区即为一个物理文件夹。比如一个网站每天的埋点行为日志数据量比较大，在查询时进行全表扫描耗费的资源非常多。那在这个情况大数据体量下，可以按照每天日期对数据表进行分区，不同日期的数据存放在不同的分区下，在查询时只要指定分区字段的值就可以直接从该分区查找。分桶的定义: 对数据进行垂直切分，各个分桶相互独立，每个分桶即为一个文件。比如我们按照name列分为4个

			
		

	





	

		

			

				
					
Doris分区

				
			

			

				

					程裕强的专栏
				

				

					09-01
					
					3561
					
				

			

		

		

			
				
CREATE TABLE table1 (
     siteid INT DEFAULT '10',
     citycode SMALLINT,
     username VARCHAR(32) DEFAULT '',     
     pv BIGINT SUM DEFAULT '0' 
) 
AGGREGATE KEY(siteid, citycode, username) 
DISTRIBUTED BY HASH(siteid) BUCKETS 10 
PROPERTIES("replica

			
		

	





	

		

			

				
					
Doris--数据表建表语法&数据划分（分区&分桶）

				
			

			

				

					qq_46893497的博客
				

				

					03-17
					
					8664
					
				

			

		

		

			
				
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型，可以通过在 mysql-client 中执行查看。AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。定义列时，可参照如下建议：Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。

			
		

	





	

		

			

				
					
Doris建表注意事项，实时数仓的同学记得收藏

				
			

			

				

					huzechen的博客
				

				

					10-08
					
					5111
					
				

			

		

		

			
				
为什么发这篇文章？新入场的小伙伴不知道doris的优势在哪里数据划分的原理是什么不适很清晰，也不知道分桶的作用是干啥的帮助新人快速了解doris的数据存储原理。目录基本概念Row &am...

			
		

	





	

		

			

				
					
doris 新增一个list分区枚举

				
			

			

				

					weixin_45259431的博客
				

				

					10-21
					
					102
					
				

			

		

		

			
				
【代码】【无标题】

			
		

	





	

		

			

				
					
Doris进阶——动态分区

				
			

			

				

					weixin_59812175的博客
				

				

					06-17
					
					4472
					
				

			

		

		

			
				
Doris动态分区简介

			
		

	





	

		

			

				
					
doris分区基本操作

				
			

			

				

					qq_28203321的博客
				

				

					09-22
					
					7265
					
				

			

		

		

			
				
创建分区：
分为两种：
1、Range 分区
分区列通常为时间列，以方便的管理新旧数据。

Partition 支持通过 VALUES LESS THAN (...) 仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。通过，也支持通过 VALUES [...) 指定同时指定上下界，生成一个左闭右开的区间。

通过 VALUES [...) 同时指定上下界比较容易理解。这里举例说明，当使用 VALUES LESS THAN (...) 语句进行分区的增删操作时，分区范围的变化情
分

			
		

	





	

		

			

				
					
Doris分区表使用

				
			

			

				

					大数据知识梳理
				

				

					11-01
					
					2322
					
				

			

		

		

			
				
Doris动态分区和临时分区记录

			
		

	





	

		

			

				
					
Apache Doris 1.0.0 发布：现代MPP分析数据库的源码解析

				
			

			

				

					
				

			

		

		

			
				
在描述中提到的apache-doris-1.0.0-incubating-src.tar.gz，这是一个包含了Apache Doris项目源代码的压缩包文件。版本1.0.0-incubating表示Apache Doris当时还处于孵化阶段，这意味着虽然代码是开源的，但功能和稳定...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
IT贫道

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值