Datawhale AI 夏令营 Task03

最后一部分是对数据的增强，也就是数据的处理，由于自己对数据预处理常见方法并不是特别清楚，因此自行补了基础，以下是基础笔记。

1. N维数组

① 机器学习用的最多的是N维数组，N维数组是机器学习和神经网络的主要数据结构。

2. 创建数组

① 创建数组需要：形状、数据类型、元素值。

3. 访问元素

① 可以根据切片，或者间隔步长访问元素。

② [::3,::2]是每隔3行、2列访问。

4. 张量数据操作

4.1 导入torch库

① 虽然库为PyTorch库，但应该导入torch，而不是pytorch。

import torch
x = torch.arange(12) # 初始化一个0-11的张量
x 

4.2 访问张量形状

① 可以通过张量的shape属性来访问张量的形状和张量中元素的总数。

import torch
x = torch.arange(12) # 初始化一个0-11的张量
x.shape # 张量的形状
x = torch.arange(12) # 初始化一个0-11的张量
x.numel() # 张量中元素的总数

4.3 改变张量形状

① 要改变一个张量的形状而不改变元素数量和元素值，可以调用reshape函数。

import torch
x = torch.arange(12) # 初始化一个0-11的张量
x = x.reshape(3,4) # 一维张量改为3行四列的张量
x

4.4 创建全0、全1张量

① 使用全0、全1、其他常量或者从特定分布中随即采样的数字。

import torch
y = torch.zeros((2,3,4))
print(y)


y = torch.ones((2,3,4))
print(y)

4.5 创建特定值张量

① 通过提供包含数值的Python列表（或嵌套列表）来为所需张量中的每个元素赋予确定值。

import torch
y = torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]]) # 二维tensor
z = torch.tensor([[[2,1,4,3],[1,2,3,4],[4,3,2,1]]]) # 三维tensor
print(y)
print(z)

y = torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]]) # 二维tensor
z = torch.tensor([[[2,1,4,3],[1,2,3,4],[4,3,2,1]]]) # 三维tensor
print(y.shape)
print(z.shape)

4.6 张量运算操作

① 常见的标准算术运算符(+、-、*、/、和 **)都可以被升级为按元素运算。

import torch
x = torch.tensor([1.0,2,4,8]) 
y = torch.tensor([2,2,2,2]) 
print(x+y)
print(x-y)
print(x*y)
print(x/y)
print(x**y) # **运算符是求幂运算

② 对每个元素应用更多的计算。

import torch
x = torch.tensor([1.0,2,4,8]) 
x = torch.exp(x) # e的x次方
print(x)

4.7 张量合并操作

⑧ 可以把多个张量结合在一起。

import torch
x = torch.arange(12,dtype=torch.float32).reshape((3,4))
y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])
m = torch.cat((x,y),dim=0) # 按行合并起来
n = torch.cat((x,y),dim=1) # 按列合并起来
print(x)
print(y)
print(m) 
print(n)

4.8 张量逻辑运算

① 通过逻辑运算符构建二元张量。

import torch
x = torch.arange(12,dtype=torch.float32).reshape((3,4))
y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])
print(x) 
print(y)
print(x == y) # 对应元素相等为 True，否则为 False

4.9 张量累加运算

① 对张量中所有元素进行求和会产生一个只有一个元素的张量。

import torch
x = torch.arange(12,dtype=torch.float32).reshape((3,4))
print(x.sum()) 

4.10 张量广播运算

① 即使形状不同，仍然可以通过调用广播机制(broadcasting mechanism) 来执行按元素操作。

import torch
a = torch.arange(3).reshape((3,1))
b = torch.arange(2).reshape((1,2))
print(a)
print(b)
print(a+b) # a会复制出一个3*2的矩阵，b复制出一个3*2的矩阵，然后再相加，会得到一个3*2矩阵  

5. 数据预处理

5.1 创建数据集

① 创建一个人工数据集，并存储在csv(逗号分隔符)文件。

import os
os.makedirs(os.path.join('.','01_Data'),exist_ok=True) # 相对路径，创建文件夹
data_file = os.path.join('.','01_Data','01_house_tiny.csv')
print(data_file)
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n') # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

5.2 加载数据集

① 从创建的csv文件中加载原始数据集。

# 如果没有安装pandas，只需取消对以下行的注释：
# !pip install pandas
import pandas as pd
import os

os.makedirs(os.path.join('.','01_Data'),exist_ok=True) # 相对路径，创建文件夹
data_file = os.path.join('.','01_Data','01_house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n') # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')
    
data_file = os.path.join('.','01_Data','01_house_tiny.csv')
data = pd.read_csv(data_file)
print(data)

5.3 预处理数据集

① 为了处理缺失的数据，典型的方法包括插值和删除，这里，我们考虑插值。

# 如果没有安装pandas，只需取消对以下行的注释：
# !pip install pandas
import pandas as pd
import os

os.makedirs(os.path.join('.','01_Data'),exist_ok=True) # 相对路径，创建文件夹
data_file = os.path.join('.','01_Data','01_house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n') # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')
    
data_file = os.path.join('.','01_Data','01_house_tiny.csv')
data = pd.read_csv(data_file)

inputs, outputs = data.iloc[:,0:2], data.iloc[:,2]
inputs = inputs.fillna(inputs.mean()) # 对 NaN 值用均值插值
print(inputs)

② 对于inputs中的类别值或离散值，将“NaN”视为一个类别。

# 如果没有安装pandas，只需取消对以下行的注释：
# !pip install pandas
import pandas as pd
import os

os.makedirs(os.path.join('.','01_Data'),exist_ok=True) # 相对路径，创建文件夹
data_file = os.path.join('.','01_Data','01_house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n') # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')
    
data_file = os.path.join('.','01_Data','01_house_tiny.csv')
data = pd.read_csv(data_file)

inputs, outputs = data.iloc[:,0:2], data.iloc[:,2]
inputs = inputs.fillna(inputs.mean()) # 对 NaN 值用均值插值
print(inputs)
inputs = pd.get_dummies(inputs, dummy_na=True) # 
print(inputs) # Alley列中，如果之前值为Pave，则新赋值为1，如果之前值为Nan，则新赋值为1