深度学习笔记（二）：数据操作和数据预处理

最新推荐文章于 2024-08-04 22:33:33 发布

歪歪涵

最新推荐文章于 2024-08-04 22:33:33 发布

阅读量290

点赞数

分类专栏：深度学习文章标签：深度学习笔记人工智能 pytorch

本文链接：https://blog.csdn.net/qq_56794107/article/details/131492933

版权

深度学习专栏收录该内容

3 篇文章 2 订阅

订阅专栏

一、数据操作

1、张量

⾸先导⼊torch，注意虽然它被称为PyTorch，但是代码中使⽤torch⽽不是pytorch。

import torch

n维数组，也称为张量（tensor），表示⼀个由数值组成的数组，这个数组可能有多个维度。具有⼀个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。

首先，使用arange创建一个行向量x。这个行向量包含以0开始的前12个整数，它们默认创建为整数。也可指定创建类型为浮点数。张量中的每个值都称为张量的元素(element)。例如，张量x中有12个元素。

x = torch.arange(12)
print(x)

输出：tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])

可以通过张量的shape属性来访问张量（沿每个轴的长度)的形状。

print(x.shape)

输出：torch.Size([12])

如果只想知道张量中元素的总数，即形状的所有元素乘积，可以检查它的大小(size)。因为这里在处理的是一个向量，所以它的shape与它的size相同。

要想改变一个张量的形状而不改变元素数量和元素值，可以调用reshape函数。例如，可以把张量x从形状为(12,)的行向量转换为形状为(3,4)的矩阵。这个新的张量包含与转换前相同的值，但是它被看成一个3行4列的矩阵。要重点说明一下，虽然张量的形状发生了改变，但其元素值并没有变。注意，通过改变张量的形状,张量的大小不会改变。

X = x.reshape(3, 4)
print(X)

tensor([[ 0, 1, 2, 3],
        [ 4, 5, 6, 7],
        [ 8, 9, 10, 11]])

我们不需要通过手动指定每个维度来改变形状。也就是说，如果我们的目标形状是（高度,宽度)，那么在知道宽度后，高度会被自动计算得出，不必我们自己做除法。在上面的例子中，为了获得一个3行的矩阵,我们手动指定了它有3行和4列。幸运的是，我们可以通过-1来调用此自动计算出维度的功能。即我们可以用x.reshape(-1,4)或x.reshape(3,-1)来取代x.reshape(3,4)。

有时，我们希望使用全0、全1、其他常量，或者从特定分布中随机采样的数字来初始化矩阵。我们可以创建一个形状为(2,3,4）的张量，其中所有元素都设置为0。代码如下:

torch.zeros((2, 3, 4))

tensor([[[0., 0., 0., 0.],
         [0., 0., 0., 0.],
         [0., 0., 0., 0.]],

        [[0., 0., 0., 0.],
         [0., 0., 0., 0.],
         [0., 0., 0., 0.]]])

同样，我们可以创建一个形状为(2,3,4)的张量，其中所有元素都设置为1。代码如下:

torch.ones((2, 3, 4))

tensor([[[1., 1., 1., 1.],
         [1., 1., 1., 1.],
         [1., 1., 1., 1.]],

        [[1., 1., 1., 1.],
         [1., 1., 1., 1.],
         [1., 1., 1., 1.]]])

有时我们想通过从某个特定的概率分布中随机采样来得到张量中每个元素的值。例如，当我们构造数组来作为神经网络中的参数时，我们通常会随机初始化参数的值。以下代码创建一个形状为（3,4)的张量。其中的每个元素都从均值为0、标准差为1的标准高斯分布(正态分布)中随机采样。

print(torch.randn(3, 4))

tensor([[-1.1014, -0.9221, -0.4416, -0.1771],
        [-0.0463,  0.7868, -0.0827,  0.7572],
        [-2.0980, -0.0612,  0.8470,  0.7182]])

我们还可以通过提供包含数值的Python列表(或嵌套列表)，来为所需张量中的每个元素赋予确定值。在这里，最外层的列表对应于轴0，内层的列表对应于轴1。

print(torch.tensor([[2, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]]))

tensor([[2, 1, 4, 3],
        [1, 2, 3, 4],
        [4, 3, 2, 1]])

2、运算符

数据操作不仅限于读取数据和写入数据，还有在数据上执行数学运算，其中最简单且最有用的操作是按元素(elementwise)运算。它们将标准标量运算符应用于数组的每个元素，对于将两个数组作为输入的函数，按元素运算将二元运算符应用于两个数组中的每对位置对应的元素。我们可以基于任何从标量到标量的函数来创建按元素函数。

在数学表示法中，我们将通过符号 $f:\mathbb{R}\rightarrow \mathbb{R}$ 来表示一元标量运算符(只接收一个输入)。这意味着该函数从任何实数（ $\mathbb{R}$ ）映射到另一个实数。同样，我们通过符号 $f:\mathbb{R},\mathbb{R}\rightarrow \mathbb{R}$ 表示二元标量运算符，这意味着该函数接收两个输入，并产生一个输出。给定同一形状的任意两个向量 $u$ 和 $v$ 和二元运算符 $f$ ，我们可以得到向量 $c=F(u,v)$ 。具体计算方法是 $c_i\leftarrow f(u_i,v_i)$ ，其中 $c_i$ 、 $u_i$ 和 $v_i$ 分别是向量 $c$ 、 $u$ 和 $v$ 中的元素。在这里，我们通过将标量函数升级为按元素向量运算来生成向量值 $F:\mathbb{R}^d,\mathbb{R}^d\rightarrow \mathbb{R}^d$ 。

对于任意具有相同形状的张量，常见的标准算术运算符（+、-、*、/和**）都可以被升级为按元素运算。我们可以在同一形状的任意两个张量上调用按元素操作。在下面的例子中，我们使用逗号来表示一个具有5个元素的元组，其中每个元素都是按元素操作的结果。

x = torch.tensor([1.0, 2, 4, 8])
y = torch.tensor([2, 2, 2, 2])
print(x + y, x - y, x * y, x / y, x ** y, sep='\n')       # 运算符是求幂运算

tensor([ 3.,  4.,  6., 10.])
tensor([-1.,  0.,  2.,  6.])
tensor([ 2.,  4.,  8., 16.])
tensor([0.5000, 1.0000, 2.0000, 4.0000])
tensor([ 1.,  4., 16., 64.])

“按元素”方式可以应用更多的计算，包括像求幂这样的一元运算符。

print(torch.exp(x))

tensor([2.7183e+00, 7.3891e+00, 5.4598e+01, 2.9810e+03])

除了按元素计算外，我们还可以执行线性代数运算，包括向量点积和矩阵乘法。
我们也可以把多个张量连结(concatenate)在一起，把它们端对端地叠起来形成一个更大的张量。我们只需要提供张量列表，并给出沿哪个轴连结。下面的例子分别演示了当我们沿行(轴-0，形状的第一个元素)和按列(轴-1，形状的第二个元素)连结两个矩阵时，会发生什么情况。我们可以看到，第一个输出张量的轴-0长度(6）是两个输入张量轴-0长度的总和（3＋3)；第二个输出张量的轴-1长度(8）是两个输入张量轴-1长度的总和(4＋4)。

X = torch.arange(12, dtype=torch.float32).reshape((3, 4))
Y = torch.tensor([[2.0, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])
print(torch.cat((X, Y), dim=0), torch.cat((X, Y), dim=1), sep='\n')

tensor([[ 0.,  1.,  2.,  3.],
        [ 4.,  5.,  6.,  7.],
        [ 8.,  9., 10., 11.],
        [ 2.,  1.,  4.,  3.],
        [ 1.,  2.,  3.,  4.],
        [ 4.,  3.,  2.,  1.]])
tensor([[ 0.,  1.,  2.,  3.,  2.,  1.,  4.,  3.],
        [ 4.,  5.,  6.,  7.,  1.,  2.,  3.,  4.],
        [ 8.,  9., 10., 11.,  4.,  3.,  2.,  1.]])

通过逻辑运算符构建二元张量。以X == Y为例:对于每个位置，如果X和Y在该位置相等，则新张量中相应项的值为1。这意味着逻辑语句X == Y在该位置处为真，否则该位置为0。

print(X == Y)

tensor([[False,  True, False,  True],
        [False, False, False, False],
        [False, False, False, False]])

对张量中的所有元素进⾏求和，会产⽣⼀个单元素张量。

print(X.sum())

tensor(66.)

3、广播机制

如上学习了如何在相同形状的两个张量上执行按元素操作。在某些情况下，即使形状不同，我们仍然可以通过调用广播机制(broadcasting mechanism)来执行按元素操作。这种机制的工作方式如下:

通过适当复制元素来扩展一个或两个数组，以便在转换之后，两个张量具有相同的形状；
对生成的数组执行按元素操作。

在大多数情况下，我们沿数组中长度为1的轴进行广播，例如:

a = torch.arange(3).reshape((3, 1))
b = torch.arange(2).reshape((1, 2))
print(a, b, sep='\n')

tensor([[0],
        [1],
        [2]])
tensor([[0, 1]])

由于a和b分别是3×1和1×2矩阵，如果让它们相加，它们的形状不匹配。我们将两个矩阵广播为一个更大的3× 2矩阵，如下所示：矩阵a将复制列，矩阵b将复制行，然后再按元素相加。

print(a + b)

tensor([[0, 1],
        [1, 2],
        [2, 3]])

4、索引和切片

与Python数组一样，张量中的元素可以通过索引访问，第一个元素的索引是0，最后一个元素索引是-1；可以指定范围以包含第一个元素和最后一个之前的元素。如下所示，我们可以用[-1]选择最后一个元素，可以用[1:3]选择第二个和第三个元素:

print(X[-1], X[1:3], sep='\n')

tensor([ 8.,  9., 10., 11.])
tensor([[ 4.,  5.,  6.,  7.],
        [ 8.,  9., 10., 11.]])

除读取外，还可以通过指定索引来将元素写入矩阵。

X[1, 2] = 9
print(X)

tensor([[ 0.,  1.,  2.,  3.],
        [ 4.,  5.,  9.,  7.],
        [ 8.,  9., 10., 11.]])

如果为多个元素赋值相同的值，只需要索引所有元素，然后为它们赋值。例如，[0:2，:]访问第1行和第2行，其中“:”代表沿轴1(列)的所有元素。虽然讨论的是矩阵的索引，但这也适用于向量和超过2个维度的张量。

X[0:2, :] = 12
print(X)

tensor([[12., 12., 12., 12.],
        [12., 12., 12., 12.],
        [ 8.,  9., 10., 11.]])

5、转换为其他python对象

将深度学习框架定义的张量转换为NumPy张量(ndarray)很容易，反之也同样容易。torch张量和numpy数组将共享它们的底层内存，就地操作更改一个张量也会同时更改另一个张量。

A = X.numpy()
B = torch.tensor(A)
print(type(A), type(B))

<class 'numpy.ndarray'> <class 'torch.Tensor'>

要将大小为1的张量转换为Python标量，我们可以调用item函数或Python的内置函数。

a = torch.tensor([3.5])
print(a, a.item(), float(a), int(a))

tensor([3.5000]) 3.5 3.5 3

二、数据预处理

1、读取数据集

举一个例子，我们首先创建一个人工数据集，并存储在CSV(逗号分隔值)文件 ../data/house_tiny.csv中。以其他格式存储的数据也可以通过类似的方式进行处理。下面我们将数据集按行写入CSV文件中。

import os

os.makedirs(os.path.join('..', 'dl/data'), exist_ok=True)
data_file = os.path.join('..', 'dl/data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')    # 列名
    f.write('NA,Pave,127500\n')          # 每⾏表⽰⼀个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

从创建的CSV文件中加载原始数据集，我们导入pandas包并调用read_csv函数（没有pandas包的可以pip install pandas进行下载）。该数据集有四行三列。其中每行描述了房间数量(“NumRooms"')、巷子类型(“Alley")和房屋价格(“Price")。

import pandas as pd

data = pd.read_csv(data_file)
print(data)

2、处理缺失值

“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。通过位置索引iloc,我们将data分成inputs和outputs，其中前者为data的前两列,而后者为data的最后一列。对于inputs中缺少的数值，我们用同一列的均值替换“NaN”项。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
print(inputs)
inputs = inputs.fillna(inputs.select_dtypes(include='number').mean())
print(inputs)

对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。由于“巷子类型”(“Alley")列只接受两种类型的类别值“Pave”和“NaN"， pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan"。巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1,“Alley_nan”的值设置为0。缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。

inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

pandas.get_dummies()函数常用于特征提取（one-hot encoding）：

pandas.get_dummies(data, prefix=None, prefix_sep='_', 
			dummy_na=False, columns=None, 
			sparse=False, drop_first=False, dtype=None)

3、转化为张量格式

现在inputs和outputs中的所有条目都是数值类型,它们可以转换为张量格式。当数据采用张量格式后，可以通过引入张量函数来进一步操作。

X, Y = torch.tensor(inputs.values), torch.tensor(outputs.values)
print(X, Y)

这里出现报错

TypeError: can't convert np.ndarray of type numpy.object_. The only supported types are: float64, float32, float16, int64, int32, int16, int8, uint8, and bool.

查找原因后在之间加了代码进行类型转换

inputs = inputs.astype(float)  # numpy强制类型转换
outputs = outputs.astype(float)  # numpy强制类型转换

X, Y = torch.tensor(inputs.values), torch.tensor(outputs.values)
print(X, Y, seq='\n')

歪歪涵

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
深度学习笔记（二）：数据操作和数据预处理

⾸先导⼊torch，注意虽然它被称为PyTorch，但是代码中使⽤torch⽽不是pytorch。n维数组，也称为张量（tensor），表示⼀个由数值组成的数组，这个数组可能有多个维度。具有⼀个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。首先，使用arange创建一个行向量x。这个行向量包含以0开始的前12个整数，它们默认创建为整数。也可指定创建类型为浮点数。张量中的每个值都称为张量的元素(element)。
复制链接

扫一扫