01—《动手学深度学习——Pytorch版》—数据操作+数据预处理

麻辣小龙虾c

于 2024-03-14 23:31:15 发布

阅读量978

点赞数 21

分类专栏：动手学深度学习文章标签：深度学习 pytorch 人工智能

本文链接：https://blog.csdn.net/qq_46670313/article/details/136654542

版权

动手学深度学习专栏收录该内容

10 篇文章 0 订阅

订阅专栏

文章目录

前言

本章主要介绍深度学习中如何对数据进行预处理操作，数据处理是学习深度学习的第一步。

N维数组样例

学习深度学习主要就是学习tensor的用法，tensor就是一种多维数组。

当维数为0维时表示一个标量，当维数为1时表示一个1维的向量——表示为一个样本的某个样例的多个特征；
当维数为2维时表示一个矩阵——表示为一个样本（包含多个样例）的特征；
当维数为3维时表示一个张量——表示为1个RGB图片，第一个维度为通道，另一个二维表示图片的长宽；
当维数为4维时同样是一个张量——在原来的RGB图像上加入了batch；当维数为5维时则在4维的基础上加入了时间序列——表示为一个视频。

判断张量的维度可以从[]包围的层数判断，如下图所示，当没有[]时就是0维张量。
在这里插入图片描述

创建数组

创建数组一般需要以下三个方面：

矩阵的形状：如3*4的矩阵
矩阵中每个元素的数据类型：如32位的float类型
矩阵中每个元素的具体取值：如全0，随机数等

在这里插入图片描述

访问元素

以下是从行和列两方面访问矩阵中的元素：

图1表示访问第1行第2列的元素7
图2表示取第1行，所有列
图3表示取所有行，第1列
图4表示取第1至第2行，第1以后的所有列
图5表示以步长为3取所有行，以步长为2取所有列

在这里插入图片描述

数据操作

为了能够完成各种数据操作，我们需要某种方法来存储和操作数据。通常，我们需要做两件重要的事：（1）获取数据；（2）将数据读入计算机后对其进行处理。如果没有某种方法来存储数据，那么获取数据是没有意义的。

首先，我们介绍n维数组，也称为张量（tensor）。使用过Python中NumPy计算包的读者会对本部分很熟悉。无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarray，在PyTorch和TensorFlow中为Tensor）都与Numpy的ndarray类似。但深度学习框架又比Numpy的ndarray多一些重要功能：首先，GPU很好地支持加速计算，而NumPy仅支持CPU计算；其次，张量类支持自动微分。这些功能使得张量类更适合深度学习。如果没有特殊说明，本书中所说的张量均指的是张量类的实例。

入门

首先，我们导入torch。请注意，虽然它被称为PyTorch，但是代码中使用torch而不是pytorch。
在这里插入图片描述
张量表示一个由数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。

首先，我们可以使用 arange 创建一个行向量 x。这个行向量包含以0开始的前12个整数，它们默认创建为整数。也可指定创建类型为浮点数。张量中的每个值都称为张量的元素（element）。例如，张量 x 中有 12 个元素。除非额外指定，新的张量将存储在内存中，并采用基于CPU的计算。
在这里插入图片描述

可以通过张量的shape属性来访问张量（沿每个轴的长度）的形状。
在这里插入图片描述
如果只想知道张量中元素的总数，即形状的所有元素乘积，可以检查它的大小（size）。因为这里在处理的是一个向量，所以它的shape与它的size相同。

在这里插入图片描述

要想改变一个张量的形状而不改变元素数量和元素值，可以调用reshape函数。例如，可以把张量x从形状为（12,）的行向量转换为形状为（3,4）的矩阵。这个新的张量包含与转换前相同的值，但是它被看成一个3行4列的矩阵。要重点说明一下，虽然张量的形状发生了改变，但其元素值并没有变。注意，通过改变张量的形状，张量的大小不会改变。
在这里插入图片描述
我们不需要通过手动指定每个维度来改变形状。也就是说，如果我们的目标形状是（高度,宽度），那么在知道宽度后，高度会被自动计算得出，不必我们自己做除法。在上面的例子中，为了获得一个3行的矩阵，我们手动指定了它有3行和4列。幸运的是，我们可以通过-1来调用此自动计算出维度的功能。即我们可以用x.reshape(-1,4)或x.reshape(3,-1)来取代x.reshape(3,4)。
在这里插入图片描述

有时，我们希望使用全0、全1、其他常量，或者从特定分布中随机采样的数字来初始化矩阵。我们可以创建一个形状为（2,3,4）的张量，其中所有元素都设置为0。代码如下：
在这里插入图片描述

同样，我们可以创建一个形状为(2,3,4)的张量，其中所有元素都设置为1。代码如下：
在这里插入图片描述

有时我们想通过从某个特定的概率分布中随机采样来得到张量中每个元素的值。例如，当我们构造数组来作为神经网络中的参数时，我们通常会随机初始化参数的值。以下代码创建一个形状为（3,4）的张量。其中的每个元素都从均值为0、标准差为1的标准高斯分布（正态分布）中随机采样。
在这里插入图片描述

我们还可以通过提供包含数值的Python列表（或嵌套列表），来为所需张量中的每个元素赋予确定值。在这里，最外层的列表对应于轴0，内层的列表对应于轴1。
在这里插入图片描述
比如在最外层加入一层[]，就会变成三维数组。

运算符

对于任意具有相同形状的张量，常见的标准算术运算符（+、-、*、/和**）都可以被升级为按元素运算。我们可以在同一形状的任意两个张量上调用按元素操作。在下面的例子中，我们使用逗号来表示一个具有5个元素的元组，其中每个元素都是按元素操作的结果。
在这里插入图片描述

“按元素”方式可以应用更多的计算，包括像求幂这样的一元运算符。
在这里插入图片描述

我们也可以把多个张量连结（concatenate）在一起，把它们端对端地叠起来形成一个更大的张量。我们只需要提供张量列表，并给出沿哪个轴连结。下面的例子分别演示了当我们沿行（轴-0，形状的第一个元素）和按列（轴-1，形状的第二个元素）连结两个矩阵时，会发生什么情况。我们可以看到，第一个输出张量的轴-0长度（6）是两个输入张量轴-0长度的总和（3+3）；第二个输出张量的轴-1长度（8）是两个输入张量轴-1长度的总和（4+4）。
在这里插入图片描述

有时，我们想通过逻辑运算符构建二元张量。以X == Y为例：对于每个位置，如果X和Y在该位置相等，则新张量中相应项的值为1。这意味着逻辑语句X == Y在该位置处为真，否则该位置为0。
在这里插入图片描述

对张量中的所有元素进行求和，会产生一个单元素张量。
在这里插入图片描述

广播机制

在上面的部分中，我们看到了如何在相同形状的两个张量上执行按元素操作。在某些情况下，即使形状不同，我们仍然可以通过调用广播机制（broadcasting mechanism）来执行按元素操作。这种机制的工作方式如下：

通过适当复制元素来扩展一个或两个数组，以便在转换之后，两个张量具有相同的形状；
对生成的数组执行按元素操作

在大多数情况下，我们将沿着数组中长度为1的轴进行广播，如下例子：
在这里插入图片描述

由于a和b分别是3×1和1×2矩阵，如果让它们相加，它们的形状不匹配。我们将两个矩阵广播为一个更大的3×2矩阵，如下所示：矩阵a将复制列，矩阵b将复制行，然后再按元素相加。
在这里插入图片描述

索引和切片

就像在任何其他Python数组中一样，张量中的元素可以通过索引访问。与任何Python数组一样：第一个元素的索引是0，最后一个元素索引是-1；可以指定范围以包含第一个元素和最后一个之前的元素。

如下所示，我们可以用[-1]选择最后一个元素，可以用[1:3]选择第二个和第三个元素：
在这里插入图片描述

除读取外，我们还可以通过指定索引来将元素写入矩阵。
在这里插入图片描述

如果我们想为多个元素赋值相同的值，我们只需要索引所有元素，然后为它们赋值。例如，[0:2, :]访问第1行和第2行，其中“:”代表沿轴1（列）的所有元素。虽然我们讨论的是矩阵的索引，但这也适用于向量和超过2个维度的张量。
在这里插入图片描述

节省内存

运行一些操作可能会导致为新结果分配内存。例如，如果我们用Y = X + Y，我们将取消引用Y指向的张量，而是指向新分配的内存处的张量。

在下面的例子中，我们用Python的id()函数演示了这一点，它给我们提供了内存中引用对象的确切地址。运行Y = Y + X后，我们会发现id(Y)指向另一个位置。这是因为Python首先计算Y + X，为结果分配新的内存，然后使Y指向内存中的这个新位置。
在这里插入图片描述

这可能是不可取的，原因有两个：

首先，我们不想总是不必要地分配内存。在机器学习中，我们可能有数百兆的参数，并且在一秒内多次更新所有参数。通常情况下，我们希望原地执行这些更新；
如果我们不原地更新，其他引用仍然会指向旧的内存位置，这样我们的某些代码可能会无意中引用旧的参数。

幸运的是，执行原地操作非常简单。我们可以使用切片表示法将操作的结果分配给先前分配的数组，例如Y[:] =《expression》。为了说明这一点，我们首先创建一个新的矩阵Z，其形状与另一个Y相同，使用zeros_like来分配一个全0的块。

在这里插入图片描述

如果在后续计算中没有重复使用X，我们也可以使用X[:] = X + Y或X += Y来减少操作的内存开销。

在这里插入图片描述

可以看出X += Y是原地操作，X = X + Y不是原地操作（我认为出现新的变量则表示开辟了一个新的内存空间）

在这里插入图片描述

转化为其他Python对象

将深度学习框架定义的张量转换为NumPy张量（ndarray）很容易，反之也同样容易。 torch张量和numpy数组将共享它们的底层内存，就地操作更改一个张量也会同时更改另一个张量。
在这里插入图片描述

要将大小为1的张量转换为Python标量，我们可以调用item函数或Python的内置函数。
在这里插入图片描述

小结

深度学习存储和操作数据的主要接口是张量（n维数组）。它提供了各种功能，包括基本数学运算、广播、索引、切片、内存节省和转换其他Python对象。

练习

运行本节中的代码。将本节中的条件语句X == Y更改为X < Y或X > Y，然后看看你可以得到什么样的张量。
用其他形状（例如三维张量）替换广播机制中按元素操作的两个张量。结果是否与预期相同？

1.运行本节中的代码。将本节中的条件语句X == Y更改为X < Y或X > Y，然后看看你可以得到什么样的张量。
在这里插入图片描述

2.用其他形状（例如三维张量）替换广播机制中按元素操作的两个张量。结果是否与预期相同？
在这里插入图片描述
这里说张量a必须在维度上匹配张量b的大小

更改了b的维度之后，可以发现在第1维和第2维（2，1）上进行了广播，就可以成功相加了。

数据预处理

为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始，而不是从那些准备好的张量格式数据开始。在Python中常用的数据分析工具中，我们通常使用pandas软件包。像庞大的Python生态系统中的许多其他扩展包一样，pandas可以与张量兼容。本节我们将简要介绍使用pandas预处理原始数据，并将原始数据转换为张量格式的步骤。后面的章节将介绍更多的数据预处理技术。

读取数据集

举一个例子，我们首先创建一个人工数据集，并存储在CSV（逗号分隔值）文件 …/data/house_tiny.csv中。以其他格式存储的数据也可以通过类似的方式进行处理。下面我们将数据集按行写入CSV文件中。
在这里插入图片描述
输出得到的表格路径为E:\pytorch\data，程序路径为E:\pytorch\体测数据处理（data与体测数据处理是同一级目录），表格内容如下：

要从创建的CSV文件中加载原始数据集，我们导入pandas包并调用read_csv函数。该数据集有四行三列。其中每行描述了房间数量（“NumRooms”）、巷子类型（“Alley”）和房屋价格（“Price”）。
在这里插入图片描述

处理缺失值

注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。

通过位置索引iloc，我们将data分成inputs和outputs，其中前者为data的前两列，而后者为data的最后一列。对于inputs中缺少的数值，我们用同一列的均值替换“NaN”项。
在这里插入图片描述

这里代码报错的原因是因为Alley列由于Pave元素的原因识别成了字符串类型，无法做均值处理，以下两种方式为解决方法（同理Alley列由于是字符串做不了均值处理）：
在这里插入图片描述

对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。由于“巷子类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”， pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。
在这里插入图片描述
这里“Alley_Pave”和“Alley_nan”的列舍得值类型变成了True和False,添加参数dtype = int后可转变为0/1。