动手学习深度学习-《数据操作+数据预处理》

课程首页

数据操作

张量($tensor$)表示一个数值组成的数组，这个数组可能有多个维度。

import torch
x = torch.arange(12) #生成0-11的一个向量：tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])

---

我们可以通过张量的$shape$属性来访问张量的形状和张量元素的总数

x.shape  #形状：torch.Size([12])
x.numel  #元素总数：12

---

要改变一个张量的形状而不改变元素数量和元素值，我们可以调用$reshape$函数

x.reshape(3,4)
'''
tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]])
'''

---

使用全0、全1、其他常量或者从特定分布中随机采样的数字

torch.zeros((2,3,4))#形状为(2,3,4)的全0数组

torch.ones((2,3,4))#形状为(2,3,4)的全1数组

---

通过提供包含数值的$Python$列表(或者嵌套列表)来为所需张量中的每个元素赋予确定值

print(torch.tensor([[2,1,4,3],[1,2,3,4]]))
'''
tensor([[2, 1, 4, 3],
        [1, 2, 3, 4]])
'''

---

常见的标准算数原算法($+、-、\ast 、/、\ast \ast$)都可以被升级为按元素运算

x = torch.tensor([1,2,4,8])
y = torch.tensor([2,2,2,2])
print(x**y) # **运算是求幂运算
#输出：tensor([ 1,  4, 16, 64])

$torch.exp(x)$：按按元素方式做指数运算

---

把多个张量连接在一起

import torch

x = torch.arange(12,dtype=torch.float32).reshape(3,4)

y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])

z1 = torch.cat((x,y),dim=0)#按照第一个维度合并数组，dim=0按行合并

z2 = torch.cat((x,y),dim=1)#按照第二个维度合并数组，dim=1按列合并
print(z2)

'''
x:
tensor([[ 0.,  1.,  2.,  3.],
        [ 4.,  5.,  6.,  7.],
        [ 8.,  9., 10., 11.]])
        
y:
tensor([[2., 1., 4., 3.],
        [1., 2., 3., 4.],
        [4., 3., 2., 1.]])

z1:
tensor([[2., 1., 4., 3.],
        [1., 2., 3., 4.],
        [4., 3., 2., 1.]])
        
z2:
tensor([[ 0.,  1.,  2.,  3.,  2.,  1.,  4.,  3.],
        [ 4.,  5.,  6.,  7.,  1.,  2.,  3.,  4.],
        [ 8.,  9., 10., 11.,  4.,  3.,  2.,  1.]])
'''

---

通过逻辑元素构建二元张量

x==y
'''
tensor([[False,  True, False,  True],
        [False, False, False, False],
        [False, False, False, False]])
'''

---

对张量中的所有元素进行求和，产生一个只有一个元素的张量

x.sum() #tensor(66.)

---

即使形状不同，任可以通过调用广播机制来执行元素操作

a = torch.arange(3).reshape((3,1))

b = torch.arange(2).reshape((1,2))

a+b#a按列复制成(3,2)的数组，b按行复制成(3,2)的数组，再进行相加

'''
a:
tensor([[0],
        [1],
        [2]])

b:
tensor([[0, 1]])

a+b:
tensor([[0, 1],
        [1, 2],
        [2, 3]])
'''

---

可以使用$[-1]$选择最后一个元素，可以使用$[1:3]$选择第二个和第三个元素

x = torch.arange(12,dtype=torch.float32).reshape(3,4)
'''
x:
tensor([[ 0.,  1.,  2.,  3.],
        [ 4.,  5.,  6.,  7.],
        [ 8.,  9., 10., 11.]])
'''

x[-1] # tensor([ 8.,  9., 10., 11.])

x[1:3]
'''
tensor([[ 4.,  5.,  6.,  7.],
        [ 8.,  9., 10., 11.]])
'''

---

为多个元素赋值相同的值，只需要索引所有元素，然后为它们赋值

x[0:2,:] = 12# 第一、二行全赋值为12

---

运行一些操作可能会导致为新结果分配内存

before = id(y)
y = y+x  #之前的y被析构掉了
print(id(y)==before) #False

执行原地操作

z = torch.zeros_like(y)
print('id(z):',id(z))

z[:] = x+y  #z中的所有元素赋值为x+y
print('id(z):',id(z))

'''
id(z): 1447042282176
id(z): 1447042282176
'''

核心是对具体的元素进行操作，即z[:]
把原来的$y=y+x$改成$y[:]=y+x$也是原地操作

如果后续计算中没有重复使用$x$，可以使用$x[:]=x+y$或者$x+=y$来减少操作的内存开销

before = id(x)
x += y  #之前的y被析构掉了
print(id(x)==before) #True

---

转换Numpy张量

A = x.numpy()
B = torch.tensor(A)
print(type(A),type(B))
#输出：<class 'numpy.ndarray'> <class 'torch.Tensor'>

---

将大小为1的张量转换为Python标量

a = torch.tensor([3.5])

a  #tensor([3.5000]) 
a.item()  #3.5  <class 'float'>
float(a)  #3.5 python的一个浮点数

数据预处理

创建一个人工数据集，并存储在csv(逗号分隔值)文件

import os

os.makedirs(os.path.join('.','data'),exist_ok=True) #创建文件夹，若文件夹已经存在：exist_ok为false时报错
data_file = os.path.join('.','data','house_tiny.csv')
with open(data_file,'w') as f:  #打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件
    f.write('NumRooms,Alley,Price\n') #列名
    f.write('NA,Pave,127500\n') # 每行的数据元素
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

---

从创建的csv文件加载原始数据

import pandas as pd

data = pd.read_csv(data_file)
print(data)
'''
输出：
   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000
'''

---

为了处理缺失的数据，典型的方法包括插值和删除，这里将考虑插值

inputs,outputs = data.iloc[:,0:2],data.iloc[:,2]

inputs = inputs.fillna(inputs.mean(numeric_only=True))
print(inputs)

'''
   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN
'''

---

对于inputs中类别值(字符串)或离散值，我们将$“NaN”$视作一个类别

inputs = pd.get_dummies(inputs,dummy_na=True)#类似转成one-hot编码
print(inputs)
'''
   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1
'''

---

现在inputs和outputs中所有条目都是数值类型，它们可以转换成张量格式

import torch
x,y = torch.tensor(inputs.values),torch.tensor(outputs.values)
print(x,y)
'''
tensor([[3., 1., 0.],
        [2., 0., 1.],
        [4., 0., 1.],
        [3., 0., 1.]], dtype=torch.float64) 
tensor([127500, 106000, 178100, 140000])
'''

---

答疑

$b$赋值为$a$的$reshape$，相当于创建了$a$的一个视图(数据库里那个)；当对$b$操作时，$a$也被改变了。

import torch
a = torch.arange((12))
b = a.reshape((3,4))
b[:]=2
print(a)#tensor([2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])

---