《Pro SQL Server Internals, 2nd edition》的CHAPTER 1 Data Storage Internals中的Data Pages and Data Rows一节

来源:《Pro SQL Server Internals, 2nd edition》

作者:Dmitri Korotkevitch

美国佛罗里达州坦帕

数据页和数据行

数据库中的空间被划分为8KB的逻辑页面。这些页面从连续编号开始,并且可以通过指定文件ID和页码引用它们。页码为总是连续的,这样当SQL Server增长数据库文件时,新的页面就会编号开始从文件的最高页码加1开始。类似地,当SQL Server收缩文件时,它将删除文件中页数最多的页面。

数据存储在SQL SERVER

 

一般来说,SQL Server存储和处理数据库中的数据。使用传统的基于行的存储,数据存储在数据行中将所有列中的数据组合在一起。

SQL Server 2012引入了列存储索引和基于列的存储。这种技术商店按每列而不是按行计算的数据。第7部分将介绍基于列的存储这本书。

最后,在SQL Server 2014中引入了一套内存技术,并进行了进一步的改进SQL Server 2016。即使它们为了冗余的目的将数据保存在磁盘上,它们的存储格式与基于行和列的存储都有很大的不同。我们将在内存中讨论本书第八部分的技术。

本书的这一部分主要介绍基于行的存储和经典的b树索引和堆。

 

图1-6显示了数据页面的结构。

图1 - 6。数据页结构

一个96字节的页眉包含关于页的各种信息,比如要访问的对象页面所属、行数和页面上可用的空闲空间数量、到前一个页面的链接以及下一页,如果该页在索引页链中,依此类推。

页眉后面是存储实际数据的区域。然后是自由空间。最后,有一个槽数组,它是一个由两个字节的条目组成的块,表示对应数据所在的偏移量行从页面开始。

slot数组指示页面上数据行的逻辑顺序。如果需要页面上的数据按照索引键的顺序排序,SQL Server不会对页面上的数据行进行物理排序,而是进行排序它根据索引排序顺序填充插槽数组。Slot 0(图1-6中最右边)存储偏移量页面上键值最低的数据行;槽1,键值第二低;等等。我们将在下一章中更深入地讨论索引。

SQL Server提供了一组丰富的系统数据类型,可以在逻辑上分为两种不同的类型组:固定长度组和可变长度组。固定长度的数据类型,如int、datetime、char等,无论存储空间的值是多少,总是使用相同数量的存储空间,即使它是空的。例如,int列总是使用4个字节,nchar(10)列总是使用20个字节来存储信息。

相反,可变长度的数据类型,如varchar、varbinary和其他一些数据类型,使用得也一样多用于存储数据的存储空间,加上两个额外的字节。例如,nvarchar(4000)列将只使用12个字节存储一个5个字符的字符串,在大多数情况下,使用2个字节存储一个空值。

稍后我们将讨论变长列不为空值使用存储空间的情况这一章。让我们看看数据行的结构,如图1-7所示。

图1 - 7。数据行结构

该行的前两个字节称为状态位A和状态位B,是包含信息的位图关于行,如行类型,如果行已逻辑删除(重影),如果行为空值、可变长度列和版本控制标记。

行中接下来的两个字节用于存储数据中固定长度部分的长度。他们后跟固定长度数据本身。在固定长度的数据部分之后,有一个空位图,它包含两个不同的数据元素。第一个双字节元素是行中的列数。第二个是一个空位图数组。这个数组对表的每一列使用一个位,不管它是否为空。

空位图总是出现在堆表或聚集索引叶行的数据行中,即使在表中没有可空列。然而,空位图既不存在于非叶索引行中,也不存在于当索引中没有可空列时,非聚集索引的叶级行。

在空位图之后,有一行的可变长度数据部分。它以两个字节开始行中可变长度列的数目,后跟列偏移数组。SQL Server存储一个twobyte行中每个变长列的偏移量,即使值为空时也是如此。然后是数据的实际可变长度部分。最后,在末尾有一个可选的14字节版本控制标记的行。此标记用于需要行版本控制的操作,如在线索引重建,乐观隔离级别、触发器等。

 

■注意,我们将在第6章讨论索引维护,第9章讨论触发器,以及乐观隔离级别在21章。

让我们创建一个表,用一些数据填充它,并查看实际的行数据。代码如下所示列1 - 4。复制函数将第一个参数提供的字符重复十次。

列1 - 4。数据行格式:表创建

create table dbo.DataRows

(

 ID int not null,

 Col1 varchar(255) null,

 Col2 varchar(255) null,

 Col3 varchar(255) null

);

insert into dbo.DataRows(ID, Col1, Col3) values (1,replicate('a',10),replicate('c',10));

insert into dbo.DataRows(ID, Col2) values (2,replicate('b',10)); 

dbcc ind

(

 'SQLServerInternals' /*Database Name*/

 ,'dbo.DataRows' /*Table Name*/

 ,-1 /*Display information for all pages of all indexes*/

); 

一个未文档化但众所周知的DBCC IND命令返回关于表页的信息配置。您可以在图1-8中看到这个命令的输出。

1 - 8DBCC IND 输出

有两页属于该表。第一个页面类型为PageType=10,是一种特殊类型的页面称为IAM分配映射。此页面跟踪属于特定对象的页面。不要专注于但是,现在,我们将在本章后面的部分讨论分配映射页面。

:SQL Server 2012引入了另一个未文档化的数据管理函数(DMF) sys.dm_db_database_page_allocation,可用于替换DBCC IND命令。的输出与DBCC IND相比,该DMF提供了更多的信息,并且可以与其他系统dmv连接和/或编目视图。

PageType=1的页面是包含数据行的实际数据页面。PageFIDPagePID列显示页面的实际文件和页码。您可以使用另一个未注册的命令DBCC页检查其内容,如清单1-5所示。

列表1 - 5。数据行格式DBCC PAGE调用

-- Redirecting DBCC PAGE output to console

dbcc traceon(3604);

dbcc page

(

 'SqlServerInternals' /*Database Name*/

 ,1 /*File ID*/

 ,214643 /*Page ID*/

 ,3 /*Output mode: 3 - display page header and row details */

);

 列表1-6显示了与第一个数据行对应的DBCC PAGE输出。SQL Server的商店按字节交换顺序的数据。例如,两个字节的值0001将存储为0100

列表1 - 6。第一行的DBCC PAGE输出

Slot 0 Offset 0x60 Length 39

Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS

Record Size = 39

Memory Dump @0x000000000EABA060

0000000000000000: 30000800 01000000 04000403 001d001d 00270061 0................'.a

0000000000000014: 61616161 61616161 61636363 63636363 636363 aaaaaaaaacccccccccc

Slot 0 Column 1 Offset 0x4 Length 4 Length (physical) 4

ID = 1

Slot 0 Column 2 Offset 0x13 Length 10 Length (physical) 10

Col1 = aaaaaaaaaa

Slot 0 Column 3 Offset 0x0 Length 0 Length (physical) 0

Col2 = [NULL]

Slot 0 Column 4 Offset 0x1d Length 10 Length (physical) 10

Col3 = cccccccccc 

让我们更详细地查看数据行,如图1-9所示。

1 - 9。第一个数据行

如您所见,该行以两个状态位开始,后面跟着一个双字节值0800。这是字节交换值0008,这是行中列数属性的偏移量。这个偏移量告诉SQL Server行中固定长度数据部分的结束位置。

接下来的四个字节用于存储固定长度的数据,在我们的示例中是ID列。在那之后,有一个双字节值,显示数据行有四列,后面跟着一个单字节NULL位图。只有四列,位图中的一个字节就足够了。它存储了04的值,即00000100二进制格式。它表示行中的第三列包含一个空值。

接下来的两个字节存储行中可变长度列的数量,在byteswapped中是3 (0300)顺序)。它后面是一个偏移量数组,其中每两个字节存储变量所在的偏移量列数据的目的。可以看到,即使Col2NULL,它仍然使用偏移数组中的slot。最后,还有来自可变长度列的实际数据。

现在,让我们看看第二行数据。表1-7显示了DBCC PAGE输出,图1-10显示了输出行数据。

1 - 10。第二数据行数据

列表1-7DBCC PAGE输出第二行

Slot 1 Offset 0x87 Length 27

Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS

Record Size = 27

Memory Dump @0x000000000EABA087

0000000000000000: 30000800 02000000 04000a02 0011001b 00626262 0................bbb

0000000000000014: 62626262 626262 bbbbbbb

Slot 1 Column 1 Offset 0x4 Length 4 Length (physical) 4

ID = 2

Slot 1 Column 2 Offset 0x0 Length 0 Length (physical) 0

Col1 = [NULL]

Slot 1 Column 3 Offset 0x11 Length 10 Length (physical) 10

Col2 = bbbbbbbbbb

Slot 1 Column 4 Offset 0x0 Length 0 Length (physical) 0

Col3 = [NULL]

第二行中的NULL位图表示一个二进制值00001010,表示Col1Col3NULL。即使表中有三个变长列,变长列的个数行中的列表示偏移数组中只有两个列/槽。SQL Server没有维护行中尾随的空变长列的信息。

■提示您可以通过创建长度可变的表来减小数据行大小列(通常存储null)被定义为CREATE TABLE语句中的最后一个列。这是CREATE TABLE语句中列的顺序惟一重要的情况。

固定长度的数据和内部属性必须适合单个数据页上可用的8060字节。如果不是这样,SQL Server不允许创建表。例如,列表1-8中的代码产生一个错误。

列表1 – 8.创建数据行大小超过8060字节的表

create table dbo.BadTable

(

 Col1 char(4000),

 Col2 char(4060)

)

Msg 1701, Level 16, State 1, Line 1

Creating or altering table 'BadTable' failed because the minimum row size would be 8,067,

including 7 bytes of internal overhead. This exceeds the maximum allowable table row size of

8,060 bytes.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
,发送类别,概率,以及物体在相机坐标系下的xyz.zip目标检测(Object Detection)是计算机视觉领域的一个核心问题,其主要任务是找出图像所有感兴趣的目标(物体),并确定它们的类别和位置。以下是对目标检测的详细阐述: 一、基本概念 目标检测的任务是解决“在哪里?是什么?”的问题,即定位出图像目标的位置并识别出目标的类别。由于各类物体具有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具挑战性的任务之一。 二、核心问题 目标检测涉及以下几个核心问题: 分类问题:判断图像的目标属于哪个类别。 定位问题:确定目标在图像的具体位置。 大小问题:目标可能具有不同的大小。 形状问题:目标可能具有不同的形状。 三、算法分类 基于深度学习的目标检测算法主要分为两大类: Two-stage算法:先进行区域生成(Region Proposal),生成有可能包含待检物体的预选框(Region Proposal),再通过卷积神经网络进行样本分类。常见的Two-stage算法包括R-CNN、Fast R-CNN、Faster R-CNN等。 One-stage算法:不用生成区域提议,直接在网络提取特征来预测物体分类和位置。常见的One-stage算法包括YOLO系列(YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等)、SSD和RetinaNet等。 四、算法原理 以YOLO系列为例,YOLO将目标检测视为回归问题,将输入图像一次性划分为多个区域,直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征,使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接层,通过卷积层提取图像特征,通过全连接层输出预测结果。 五、应用领域 目标检测技术已经广泛应用于各个领域,为人们的生活带来了极大的便利。以下是一些主要的应用领域: 安全监控:在商场、银行
目标检测(Object Detection)是计算机视觉领域的一个核心问题,其主要任务是找出图像所有感兴趣的目标(物体),并确定它们的类别和位置。以下是对目标检测的详细阐述: 一、基本概念 目标检测的任务是解决“在哪里?是什么?”的问题,即定位出图像目标的位置并识别出目标的类别。由于各类物体具有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具挑战性的任务之一。 二、核心问题 目标检测涉及以下几个核心问题: 分类问题:判断图像的目标属于哪个类别。 定位问题:确定目标在图像的具体位置。 大小问题:目标可能具有不同的大小。 形状问题:目标可能具有不同的形状。 三、算法分类 基于深度学习的目标检测算法主要分为两大类: Two-stage算法:先进行区域生成(Region Proposal),生成有可能包含待检物体的预选框(Region Proposal),再通过卷积神经网络进行样本分类。常见的Two-stage算法包括R-CNN、Fast R-CNN、Faster R-CNN等。 One-stage算法:不用生成区域提议,直接在网络提取特征来预测物体分类和位置。常见的One-stage算法包括YOLO系列(YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等)、SSD和RetinaNet等。 四、算法原理 以YOLO系列为例,YOLO将目标检测视为回归问题,将输入图像一次性划分为多个区域,直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征,使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接层,通过卷积层提取图像特征,通过全连接层输出预测结果。 五、应用领域 目标检测技术已经广泛应用于各个领域,为人们的生活带来了极大的便利。以下是一些主要的应用领域: 安全监控:在商场、银行
目标检测(Object Detection)是计算机视觉领域的一个核心问题,其主要任务是找出图像所有感兴趣的目标(物体),并确定它们的类别和位置。以下是对目标检测的详细阐述: 一、基本概念 目标检测的任务是解决“在哪里?是什么?”的问题,即定位出图像目标的位置并识别出目标的类别。由于各类物体具有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具挑战性的任务之一。 二、核心问题 目标检测涉及以下几个核心问题: 分类问题:判断图像的目标属于哪个类别。 定位问题:确定目标在图像的具体位置。 大小问题:目标可能具有不同的大小。 形状问题:目标可能具有不同的形状。 三、算法分类 基于深度学习的目标检测算法主要分为两大类: Two-stage算法:先进行区域生成(Region Proposal),生成有可能包含待检物体的预选框(Region Proposal),再通过卷积神经网络进行样本分类。常见的Two-stage算法包括R-CNN、Fast R-CNN、Faster R-CNN等。 One-stage算法:不用生成区域提议,直接在网络提取特征来预测物体分类和位置。常见的One-stage算法包括YOLO系列(YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等)、SSD和RetinaNet等。 四、算法原理 以YOLO系列为例,YOLO将目标检测视为回归问题,将输入图像一次性划分为多个区域,直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征,使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接层,通过卷积层提取图像特征,通过全连接层输出预测结果。 五、应用领域 目标检测技术已经广泛应用于各个领域,为人们的生活带来了极大的便利。以下是一些主要的应用领域: 安全监控:在商场、银行
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值