《Pro SQL Server Internals, 2nd edition》的CHAPTER 1 Data Storage Internals中的Data Pages and Data Rows一节

来源:《Pro SQL Server Internals, 2nd edition》

作者:Dmitri Korotkevitch

美国佛罗里达州坦帕

数据页和数据行

数据库中的空间被划分为8KB的逻辑页面。这些页面从连续编号开始,并且可以通过指定文件ID和页码引用它们。页码为总是连续的,这样当SQL Server增长数据库文件时,新的页面就会编号开始从文件的最高页码加1开始。类似地,当SQL Server收缩文件时,它将删除文件中页数最多的页面。

数据存储在SQL SERVER

 

一般来说,SQL Server存储和处理数据库中的数据。使用传统的基于行的存储,数据存储在数据行中将所有列中的数据组合在一起。

SQL Server 2012引入了列存储索引和基于列的存储。这种技术商店按每列而不是按行计算的数据。第7部分将介绍基于列的存储这本书。

最后,在SQL Server 2014中引入了一套内存技术,并进行了进一步的改进SQL Server 2016。即使它们为了冗余的目的将数据保存在磁盘上,它们的存储格式与基于行和列的存储都有很大的不同。我们将在内存中讨论本书第八部分的技术。

本书的这一部分主要介绍基于行的存储和经典的b树索引和堆。

 

图1-6显示了数据页面的结构。

图1 - 6。数据页结构

一个96字节的页眉包含关于页的各种信息,比如要访问的对象页面所属、行数和页面上可用的空闲空间数量、到前一个页面的链接以及下一页,如果该页在索引页链中,依此类推。

页眉后面是存储实际数据的区域。然后是自由空间。最后,有一个槽数组,它是一个由两个字节的条目组成的块,表示对应数据所在的偏移量行从页面开始。

slot数组指示页面上数据行的逻辑顺序。如果需要页面上的数据按照索引键的顺序排序,SQL Server不会对页面上的数据行进行物理排序,而是进行排序它根据索引排序顺序填充插槽数组。Slot 0(图1-6中最右边)存储偏移量页面上键值最低的数据行;槽1,键值第二低;等等。我们将在下一章中更深入地讨论索引。

SQL Server提供了一组丰富的系统数据类型,可以在逻辑上分为两种不同的类型组:固定长度组和可变长度组。固定长度的数据类型,如int、datetime、char等,无论存储空间的值是多少,总是使用相同数量的存储空间,即使它是空的。例如,int列总是使用4个字节,nchar(10)列总是使用20个字节来存储信息。

相反,可变长度的数据类型,如varchar、varbinary和其他一些数据类型,使用得也一样多用于存储数据的存储空间,加上两个额外的字节。例如,nvarchar(4000)列将只使用12个字节存储一个5个字符的字符串,在大多数情况下,使用2个字节存储一个空值。

稍后我们将讨论变长列不为空值使用存储空间的情况这一章。让我们看看数据行的结构,如图1-7所示。

图1 - 7。数据行结构

该行的前两个字节称为状态位A和状态位B,是包含信息的位图关于行,如行类型,如果行已逻辑删除(重影),如果行为空值、可变长度列和版本控制标记。

行中接下来的两个字节用于存储数据中固定长度部分的长度。他们后跟固定长度数据本身。在固定长度的数据部分之后,有一个空位图,它包含两个不同的数据元素。第一个双字节元素是行中的列数。第二个是一个空位图数组。这个数组对表的每一列使用一个位,不管它是否为空。

空位图总是出现在堆表或聚集索引叶行的数据行中,即使在表中没有可空列。然而,空位图既不存在于非叶索引行中,也不存在于当索引中没有可空列时,非聚集索引的叶级行。

在空位图之后,有一行的可变长度数据部分。它以两个字节开始行中可变长度列的数目,后跟列偏移数组。SQL Server存储一个twobyte行中每个变长列的偏移量,即使值为空时也是如此。然后是数据的实际可变长度部分。最后,在末尾有一个可选的14字节版本控制标记的行。此标记用于需要行版本控制的操作,如在线索引重建,乐观隔离级别、触发器等。

 

■注意,我们将在第6章讨论索引维护,第9章讨论触发器,以及乐观隔离级别在21章。

让我们创建一个表,用一些数据填充它,并查看实际的行数据。代码如下所示列1 - 4。复制函数将第一个参数提供的字符重复十次。

列1 - 4。数据行格式:表创建

create table dbo.DataRows

(

 ID int not null,

 Col1 varchar(255) null,

 Col2 varchar(255) null,

 Col3 varchar(255) null

);

insert into dbo.DataRows(ID, Col1, Col3) values (1,replicate('a',10),replicate('c',10));

insert into dbo.DataRows(ID, Col2) values (2,replicate('b',10)); 

dbcc ind

(

 'SQLServerInternals' /*Database Name*/

 ,'dbo.DataRows' /*Table Name*/

 ,-1 /*Display information for all pages of all indexes*/

); 

一个未文档化但众所周知的DBCC IND命令返回关于表页的信息配置。您可以在图1-8中看到这个命令的输出。

1 - 8DBCC IND 输出

有两页属于该表。第一个页面类型为PageType=10,是一种特殊类型的页面称为IAM分配映射。此页面跟踪属于特定对象的页面。不要专注于但是,现在,我们将在本章后面的部分讨论分配映射页面。

:SQL Server 2012引入了另一个未文档化的数据管理函数(DMF) sys.dm_db_database_page_allocation,可用于替换DBCC IND命令。的输出与DBCC IND相比,该DMF提供了更多的信息,并且可以与其他系统dmv连接和/或编目视图。

PageType=1的页面是包含数据行的实际数据页面。PageFIDPagePID列显示页面的实际文件和页码。您可以使用另一个未注册的命令DBCC页检查其内容,如清单1-5所示。

列表1 - 5。数据行格式DBCC PAGE调用

-- Redirecting DBCC PAGE output to console

dbcc traceon(3604);

dbcc page

(

 'SqlServerInternals' /*Database Name*/

 ,1 /*File ID*/

 ,214643 /*Page ID*/

 ,3 /*Output mode: 3 - display page header and row details */

);

 列表1-6显示了与第一个数据行对应的DBCC PAGE输出。SQL Server的商店按字节交换顺序的数据。例如,两个字节的值0001将存储为0100

列表1 - 6。第一行的DBCC PAGE输出

Slot 0 Offset 0x60 Length 39

Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS

Record Size = 39

Memory Dump @0x000000000EABA060

0000000000000000: 30000800 01000000 04000403 001d001d 00270061 0................'.a

0000000000000014: 61616161 61616161 61636363 63636363 636363 aaaaaaaaacccccccccc

Slot 0 Column 1 Offset 0x4 Length 4 Length (physical) 4

ID = 1

Slot 0 Column 2 Offset 0x13 Length 10 Length (physical) 10

Col1 = aaaaaaaaaa

Slot 0 Column 3 Offset 0x0 Length 0 Length (physical) 0

Col2 = [NULL]

Slot 0 Column 4 Offset 0x1d Length 10 Length (physical) 10

Col3 = cccccccccc 

让我们更详细地查看数据行,如图1-9所示。

1 - 9。第一个数据行

如您所见,该行以两个状态位开始,后面跟着一个双字节值0800。这是字节交换值0008,这是行中列数属性的偏移量。这个偏移量告诉SQL Server行中固定长度数据部分的结束位置。

接下来的四个字节用于存储固定长度的数据,在我们的示例中是ID列。在那之后,有一个双字节值,显示数据行有四列,后面跟着一个单字节NULL位图。只有四列,位图中的一个字节就足够了。它存储了04的值,即00000100二进制格式。它表示行中的第三列包含一个空值。

接下来的两个字节存储行中可变长度列的数量,在byteswapped中是3 (0300)顺序)。它后面是一个偏移量数组,其中每两个字节存储变量所在的偏移量列数据的目的。可以看到,即使Col2NULL,它仍然使用偏移数组中的slot。最后,还有来自可变长度列的实际数据。

现在,让我们看看第二行数据。表1-7显示了DBCC PAGE输出,图1-10显示了输出行数据。

1 - 10。第二数据行数据

列表1-7DBCC PAGE输出第二行

Slot 1 Offset 0x87 Length 27

Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS

Record Size = 27

Memory Dump @0x000000000EABA087

0000000000000000: 30000800 02000000 04000a02 0011001b 00626262 0................bbb

0000000000000014: 62626262 626262 bbbbbbb

Slot 1 Column 1 Offset 0x4 Length 4 Length (physical) 4

ID = 2

Slot 1 Column 2 Offset 0x0 Length 0 Length (physical) 0

Col1 = [NULL]

Slot 1 Column 3 Offset 0x11 Length 10 Length (physical) 10

Col2 = bbbbbbbbbb

Slot 1 Column 4 Offset 0x0 Length 0 Length (physical) 0

Col3 = [NULL]

第二行中的NULL位图表示一个二进制值00001010,表示Col1Col3NULL。即使表中有三个变长列,变长列的个数行中的列表示偏移数组中只有两个列/槽。SQL Server没有维护行中尾随的空变长列的信息。

■提示您可以通过创建长度可变的表来减小数据行大小列(通常存储null)被定义为CREATE TABLE语句中的最后一个列。这是CREATE TABLE语句中列的顺序惟一重要的情况。

固定长度的数据和内部属性必须适合单个数据页上可用的8060字节。如果不是这样,SQL Server不允许创建表。例如,列表1-8中的代码产生一个错误。

列表1 – 8.创建数据行大小超过8060字节的表

create table dbo.BadTable

(

 Col1 char(4000),

 Col2 char(4060)

)

Msg 1701, Level 16, State 1, Line 1

Creating or altering table 'BadTable' failed because the minimum row size would be 8,067,

including 7 bytes of internal overhead. This exceeds the maximum allowable table row size of

8,060 bytes.

深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据的时间依赖性。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实性。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络用于添加非线性,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就,但它也面临着一些挑战,如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据的时间依赖性。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实性。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络用于添加非线性,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就,但它也面临着一些挑战,如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值