动手学深度学习之数据预处理

掌握数据预处理流程

将收集到的原始数据通加os模块中的open函数写入内存中并读取，之后处理缺失的数据，典型的处理方法包括插值法和删除法。接着，将处理过的数据用pandas转换为张量格式。

写入原始数据

先创建一个文件，并将原始数据写入内存（保存在csv文件中）：

import os

os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

对上述代码解读：
os 模块提供了非常丰富的方法用来处理文件和目录。详情请见：菜鸟
os.makedirs() 方法用于递归创建目录。
os.path.join() 把目录和文件名合成一个路径。在这里以相对路径创建了data的文件夹。exist_ok=True是在目录已存在的情况下不报错，默认为False，目录要是存在会报错。
用Python内置的open()函数打开一个文件，创建一个file对象，相关的方法才可以调用它进行读写。w则代表打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。

读取数据

从以上创建的csv文件中读取原始数据，通过pandas包调用read_csv函数。

# 如果没有安装pandas，只需取消对以下行的注释来安装pandas
# !pip install pandas
import pandas as pd

data = pd.read_csv(data_file)
print(data)

处理缺失值

”NaN“ 代表缺失值。可以用插值法，用一个替代值代替缺失值；也可用删除法直接删除缺失值。在书里，用了插值法。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

将离散型特征的每一种取值都看成一种状态，若你的这一特征中有N个不相同的取值，那么我们就可以将该特征抽象成N种不同的状态。

通过索引iloc，将data分为inputs和outputs。对于intputs中缺失的数值，用同一列的均值来替换"NaN"项。
由于Alley列有两种类型的值："NaN"和”Pave“。可以考虑将Alley列分为两列：“Alley_Pave”和“Alley_nan”。
“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。 缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。

# 将第0列和第1列拿出来放在 inputs 中，将第2列拿出来放在 outputs 里面
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

转换为张量格式

将经过处理的inputs 和outputs 转换为张量格式。

import torch

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y