达梦8 探寻达梦排序原理：传统排序机制（SORT_FLAG=0）

已于 2024-06-09 08:08:51 修改
阅读量399 收藏 5
点赞数 7
分类专栏： 国产化数据库 达梦 文章标签： 数据库
于 2024-06-08 18:19:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56866387/article/details/139542610
版权

测试版本：--03134283938-20221019-172201-20018

达梦的排序机制由四个dm.ini参数控制：

#maximum sort buffer size in Megabytes ，有效值范围（1~2048）                
SORT_BUF_SIZE                   = 100    
                 
#maximum sort blk size in Megabytes，有效值范围（1~50）
SORT_BLK_SIZE                   = 1     

#maximum global sort buffer size in Megabytes，有效值范围（10~4294967294）               
SORT_BUF_GLOBAL_SIZE            = 500   
             
#choose method of sort
SORT_FLAG                       = 1

SORT_FLAG,0代表传统排序机制，1代表新排序机制。

传统排序机制时，系统均为每一个进行排序操作的会话分配SORT_BUF_SIZE大小的本地排序区（RT_MEMOBJ_VPOOL）。如果排序的尺寸大于SORT_BUF_SIZE，则使用临时表空间协助完成排序，这时可以通过v$mtab_used_history查询。

  • 下面我们做一个实验

会话1:

提前准备包含20000000行数据的d表，读取d表数据排序后插入e表。

insert into e select * from d order by 2;

会话2:

查询内存池的使用情况

#查询内存池的使用情况
SQL> select a.name pool,total_size/1024/1024.0 Mbytes,FILE_NAME 
from v$mem_pool a
where a.name in ('VDTA POOL','RT_MEMOBJ_VPOOL') 
order by 2 desc limit 2


#会话1执行中的查询结果：
LINEID     POOL            MBYTES FILE_NAME
---------- --------------- ------ ------------------------------------------------
1          RT_MEMOBJ_VPOOL 115    /home/dmops/build/svns/1666183702277/op/xsort3.c
2          RT_MEMOBJ_VPOOL 10     /home/dmops/build/svns/1666183702277/op/xsort3.c


#查询临时表空间的使用情况
SQL> select  MTAB_TYPE,MTAB_USED_BY_M,SQL_TEXT from v$mtab_used_history;

LINEID     MTAB_TYPE MTAB_USED_BY_M SQL_TEXT
---------- --------- -------------- -----------------------------------------
1          FLUSH     24             insert into e select * from d order by 2;
2          NSORT     289            insert into e select * from d order by 2;

下面是dmserver在OS中的内存占用

  • 调整参数不变，5个会话同时执行

查询会话：

#查询内存池的使用情况
SQL> select a.name pool,total_size/1024/1024.0 Mbytes,FILE_NAME 
from v$mem_pool a
where a.name in ('VDTA POOL','RT_MEMOBJ_VPOOL') 
order by 2 desc limit 5


LINEID     POOL            MBYTES FILE_NAME
---------- --------------- ------ ------------------------------------------------
1          RT_MEMOBJ_VPOOL 115    /home/dmops/build/svns/1666183702277/op/xsort3.c
2          RT_MEMOBJ_VPOOL 115    /home/dmops/build/svns/1666183702277/op/xsort3.c
3          RT_MEMOBJ_VPOOL 115    /home/dmops/build/svns/1666183702277/op/xsort3.c
4          RT_MEMOBJ_VPOOL 115    /home/dmops/build/svns/1666183702277/op/xsort3.c
5          RT_MEMOBJ_VPOOL 115    /home/dmops/build/svns/1666183702277/op/xsort3.c


#查询临时表空间的使用情况
SQL> select  MTAB_TYPE,MTAB_USED_BY_M,SQL_TEXT from v$mtab_used_history;

LINEID     MTAB_TYPE MTAB_USED_BY_M SQL_TEXT
---------- --------- -------------- -----------------------------------------
1          FLUSH     24             insert into e select * from d order by 2;
2          FLUSH     24             insert into e select * from d order by 2;
3          FLUSH     24             insert into e select * from d order by 2;
4          FLUSH     24             insert into e select * from d order by 2;
5          FLUSH     24             insert into e select * from d order by 2;
6          NSORT     289            insert into e select * from d order by 2;
7          NSORT     289            insert into e select * from d order by 2;
8          NSORT     289            insert into e select * from d order by 2;
9          NSORT     289            insert into e select * from d order by 2;
10         NSORT     289            insert into e select * from d order by 2;

下面是dmserver在OS中的内存占用

  • 调整参数SORT_BUF_SIZE=512

5个会话同时执行

查询会话：

#查询内存池的使用情况
SQL> select a.name pool,total_size/1024/1024.0 Mbytes,FILE_NAME 
from v$mem_pool a
where a.name in ('VDTA POOL','RT_MEMOBJ_VPOOL') 
order by 2 desc limit 5


select  MTAB_TYPE,MTAB_USED_BY_M,SQL_TEXT from v$mtab_used_history;
LINEID     POOL            MBYTES        FILE_NAME
---------- --------------- ------------- ------------------------------------------------
1          RT_MEMOBJ_VPOOL 714.509765625 /home/dmops/build/svns/1666183702277/op/xsort3.c
2          RT_MEMOBJ_VPOOL 712.509765625 /home/dmops/build/svns/1666183702277/op/xsort3.c
3          RT_MEMOBJ_VPOOL 712.509765625 /home/dmops/build/svns/1666183702277/op/xsort3.c
4          RT_MEMOBJ_VPOOL 712.509765625 /home/dmops/build/svns/1666183702277/op/xsort3.c
5          RT_MEMOBJ_VPOOL 712.509765625 /home/dmops/build/svns/1666183702277/op/xsort3.c

#查询临时表空间的使用情况
SQL> select  MTAB_TYPE,MTAB_USED_BY_M,SQL_TEXT from v$mtab_used_history;
no rows

由上可见，当排序区足够时将不启用临时表空间排序。

下面是dmserver在OS中的内存占用

  • 调整参数SORT_BUF_SIZE=1024

5个会话同时执行

查询会话：

#查询内存池的使用情况
SQL> select a.name pool,total_size/1024/1024.0 Mbytes,FILE_NAME 
from v$mem_pool a
where a.name in ('VDTA POOL','RT_MEMOBJ_VPOOL') 
order by 2 desc limit 5


LINEID     POOL            MBYTES         FILE_NAME
---------- --------------- -------------- ------------------------------------------------
1          RT_MEMOBJ_VPOOL 1121.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
2          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
3          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
4          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
5          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c

#查询临时表空间的使用情况
SQL> select  MTAB_TYPE,MTAB_USED_BY_M,SQL_TEXT from v$mtab_used_history;
no rows

下面是dmserver在OS中的内存占用

从本次测试中可见，当增加参数值后，每个会话占用的内存增加，dmserver占用的总内存也相应增加。

  • 调整参数SORT_BUF_SIZE=2048

5个会话同时执行

查询会话：

#查询内存池的使用情况
SQL> select a.name pool,total_size/1024/1024.0 Mbytes,FILE_NAME 
from v$mem_pool a
where a.name in ('VDTA POOL','RT_MEMOBJ_VPOOL') 
order by 2 desc limit 5


LINEID     POOL            MBYTES         FILE_NAME
---------- --------------- -------------- ------------------------------------------------
1          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
2          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
3          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
4          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c
5          RT_MEMOBJ_VPOOL 1117.841796875 /home/dmops/build/svns/1666183702277/op/xsort3.c


#查询临时表空间的使用情况
SQL> select  MTAB_TYPE,MTAB_USED_BY_M,SQL_TEXT from v$mtab_used_history;
no rows

下面是dmserver在OS中的内存占用

从本次测试中可见，参数再增加，占用的内存不再同步增长。

结论

SORT_BUF_SIZE参数是系统为每一个会话分配的排序内存上限。参数设置过大时可能会造成一些内存浪费，但并不总跟随参数上涨，系统试图优化内存的使用。当会话实际需要超过SORT_BUF_SIZE时，系统使用临时表空间协助完成排序工作，可以通过v$mtab_used_history视图查询。

每一个会话的排序区相互独立。其中一个会话超出限额不会影响后续会话的执行。

新排序机制则有所不同，全局排序区耗光后，后续排序会话将报-544错误。以后的文章将详细介绍。

老刘学达梦
关注
专栏目录
达梦分析函数
qq_36192280的博客
03-08 1398
分析函数帮助实现一些统计功能，简化一部分开发工作量 一、分析函数语法： over analytic_clause ,分析函数操作的是一个查询结果集，在 from,where ,group by haveing 子句之后开始计算，在选择列和order by 子句中可以使用分析函数，分析函数有0-3个参数 over/row_number()/rank()/dense_rank() (partition by xx order by xx range/rows) 总结：分析函数是对结果集再进行统计 1、分析函数
达梦数据库“Out of sort buf space, try to adjust SORT_BUF_GLOBAL_SIZE, SORT_BUF_SIZE, SORT”问题处理
程序员的笔记
05-27 513
达梦数据库“Out of sort buf space, try to adjust SORT_BUF_GLOBAL_SIZE, SORT_BUF_SIZE, SORT”问题处理
达梦8 探寻达梦排序原理：新排序机制（SORT_FLAG=1）
weixin_56866387的博客
06-09 353
测试版本：--03134283938-20221019-172201-20018SORT_FLAG,0代表传统排序机制，1代表新排序机制。新排序机制时，系统均为每一个进行排序操作的会话在全局排序区至少分配1个内存分片。根据排序的尺寸需要，最多可扩展至SORT_BUF_GLOBAL_SIZE。当会话无法扩展时，则使用临时表空间协助完成排序，这时可以通过v$mtab_used_history查询。排序操作至少需要抢占一个内存分片，当全局排序区耗尽时，后续会话的排序操作将报-544错误。
dm数据库按某一列排序把null值排到最后去
又菜又爱玩的博客
06-19 389
在sql中对一些中文字段排序时，null值永远排第一个，如果需要把null值放到最下面去，可以使用一些函数来实现。值放在结果集的最后，可以使用。在达梦数据库中，要将。
达梦数据库和mysql 的自动排序和生成序号
job_csdn的博客
11-29 5310
自动生成序号，重复排序，达梦数据库的自动排序
达梦排序原理
Criska521的博客
09-16 2537
排序操作就是将一组数据按照指定列值的指定顺序方式进行输出显示。
达梦数据库DM8中针对中文进行排序
wy071218的专栏
06-03 3841
create table t (id int,c1 VARCHAR(100)); insert into t VALUES(1,'张三'); insert into t VALUES(2,'李四'); insert into t VALUES(6,'李六'); insert into t VALUES(3,'王五'); insert into t VALUES(4,'赵柳'); SELECT * FROM t ORDER BY NLSSORT(c1,'NLS_SORT = SCHINESE_PINYI.
达梦数据库 倒序 null放后面
l3922768721的博客
04-18 755
达梦数据库 倒序 null放后面
sprite_character_mage_effect_dragonspear.NPK：sprite_character_mage_effect_dragonspear.NPK
02-09
让我们深入解析这个神秘的文件，探寻其中蕴含的技术细节。 首先，让我们了解“sprite”一词。在游戏开发中，“sprite”通常指的是二维图像或动画，用于表示游戏中的角色、物体或环境。这里的“sprite_character_...
探寻数据隐藏的秘密：数据分析.pptx
02-07
这一阶段可能涉及数据转化，如将性别分类为0或1等二进制表示。 3. 数据处理：使用Excel、Python的数据计算库（如Pandas）、SPSS、R等工具对数据进行计算和整理，以进行更深层次的分析。这可能包括数据规整、汇总、...
探寻绝密武器：移动跨平台开发
03-01
移动互联网中，不同平台的技术障碍等壁垒增加了开发者的开发门槛和开发周期。所以若想在此有立足之地，就要熟练掌握跨平台工具。如果说近来迅猛发展的移动互联网是一个江湖的话，那么iOS、Android就是其中的少林和...
达梦数据库的基本操作以及分页查询等
09-28
根据java语言对达梦DM数据库的连接和操作，包括建表、新增、修改、删除、查询以及复杂查询和分页查询等完整代码，附送Dm7Dictionary的驱动包，此驱动包兼容jdk1.7和jdk1.8本人亲测完美兼容
达梦数据库分组排序获取最新数据
weixin_38670912的博客
05-28 448
【代码】达梦数据库分组排序获取最新数据。
DM达梦数据库分析函数整理
最新发布
菜鸟小码的博客
06-26 1494
在复杂的数据分析场景中，达梦数据库的分析函数扮演着至关重要的角色。它们允许用户在单个查询中对数据进行分组、排序、排名及聚合计算，极大地提升了数据分析的灵活性和效率。
达梦数据库MySQL的基础，条件，高级，分组查询
a2840561372的博客
07-06 3122
以上是MySQL数据库中基础查询、条件查询、高级查询和分组查询的一些基本知识点和语法示例。它使用GROUP BY子句来指定要进行分组的列，并且可以使用HAVING子句来筛选符合特定条件的分组。SELECT 列名1, 列名2, ... FROM 表名 WHERE 列名 IN (SELECT 列名 FROM 表名 WHERE 条件);子查询是在一个查询中嵌套使用另一个查询的结果。高级查询包括了更复杂的查询需求，如使用子查询、使用聚合函数、使用排序和限制等。条件可以是一个简单的条件，也可以是多个条件的组合。
达梦数据库 优化
weixin_45699851的博客
04-02 2518
一条即为“脏”链，用于存放已被修改过的内存数据页。）业务非常繁忙的时候，可以修改，一般情况下，默认是1，一次取一页。工作线程可能忙不过来，就有task线程，相当于公司前台，分配任务用的，工作线程完成后，在任务线程里面取数据。–KEEP 的特性是对缓冲区中的数据页很少或几乎不怎么淘汰出去，主要针对用户的应用是否需要经常处在内存当中，如果是这种情况，可以指定缓冲区为 KEEP。达梦数据库服务启动时，向操作系统申请 6 块独立的内存（数据缓冲区，字典缓冲区，日志缓冲区，共享内存池，备用内存池，sql 缓冲区）。
上海腾科教育达梦数据库培训干货分享DM7倒序排序优化的方法
上海腾科教育的博客
08-27 486
1.创建测试数据 createtabletable_test(aint,bvarchar2(100)); declare begin foriin1..100000loop insertintotable_testvalues(i,to_char(sysdate)); endloop; end; / 2.可以看到下列SQL语句的计划是有额外排序开销的 explain select*fromtable_testorder...
下面我们通过源码，深入探寻Redis， StrictiRedis， connectionPool之间的联系，以及实现原理。既然StrictRedis就是Redis， 那就直接扒Redis源码看看：Redis.__init__(…)
05-29
Redis是一款开源的基于键值对的高性能内存数据库。StrictRedis是Redis官方提供的Python客户端包，是对Redis的一个轻量级封装。下面是关于Redis、StrictRedis和connectionPool之间联系的分析。 在StrictRedis中，通过继承Redis类来实现对Redis的封装。Redis类中的__init__方法接收的参数有host、port、db等，这些参数是用来连接Redis服务器的。具体地说，其中host表示Redis服务器的主机名或者IP地址，port表示Redis服务器的端口号，db表示使用的数据库编号。 在连接Redis服务器时，StrictRedis会使用connectionPool来管理连接。connectionPool有多种实现方式，其中默认实现是ConnectionPool。ConnectionPool是一个简单的连接池实现，它可以缓存并重用连接对象，从而降低了每次连接和断开连接的开销，提高了Redis的性能。 总的来说，Redis和StrictRedis之间的关系是StrictRedis对Redis的一个封装，提供了一些Pythonic的方法和语法糖来方便Python开发者使用Redis。而connectionPool是用来管理Redis连接的。通过使用连接池，可以减少Redis连接和断开连接的开销，提升Redis的性能。 关于Redis、StrictRedis、connectionPool的实现原理，可以参考Redis官方文档和相关的源码。需要注意的是，在使用Redis、StrictRedis和connectionPool时，应该遵循相关的最佳实践，以保证Redis的性能和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值