《动手学深度学习(Dive into Deeplearning)》(第二版)——第二章 _2.2 数据预处理
第二章 预备知识
§ 前期回顾
上一节我们学习了torch中张量的一些基本操作,接下来一节我们将学习数据预处理。同样放上视频传送门:
04 数据操作 + 数据预处理【动手学深度学习v2】
该视频和上一节的视频是同一个哈,那么让我们开始这一节的学习吧~~
§ 2.2 数据预处理
我们都知道,机器学习当中最重要的就是数据集,而我们拿到的数据集不可能是十分完美的,或多或少都会有缺失值或是异常值,而这时候就要我们对数据进行预处理。
Python中常用的数据分析工具中,通常使用 pandas 软件包。像庞大的 Python 生态系统中的许多其他扩展包一样,pandas 可以与张量兼容。因此,我们将简要介绍使用 pandas 预处理原始数据并将原始数据转换为张量格式的步骤。
2.2.1 读取数据集
我们手动创建一个数据集来进行处理。将数据存储在csv(逗号分隔值)文件中,此处我设置的路径为 ./data ,这样就会保存在当前目录的data文件夹下。其他格式存储的数据也可以通过类似的方式进行处理。
下面我们将数据集按行写入csv文件中:
import os
os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每行表示一个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')
从csv文件中加载原始数据我们需要用到 pandas 包并调用其中的 read_csv 函数。该数据集大小为四行三列,其中每行描述了房间数量(“NumRooms”)、巷子类型(“Alley”)和房屋价格(“Price”)。
import pandas as pd
data = pd.read_csv(data_file)
print(data)
NumRooms Alley Price
0 NaN Pave 127500
1 2.0 NaN 106000
2 4.0 NaN 178100
3 NaN NaN 140000
2.2.2 处理缺失值
该数据集中的“NaN”项代表缺失值,处理缺失的数据,典型的方法包括 插值 和 删除,其中插值用替代值代替缺失值。而删除则忽略缺失值。在这里,我们将考虑插值。
- 通过 iloc 进行位置索引,将 data 分成 inputs 和outputs,其中前者为 data 的前两列,后者为最后一列。对于inouts中的缺失值,我们采用同一列的均值替换为“NaN”项:
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)
NumRooms Alley
0 3.0 Pave
1 2.0 NaN
2 4.0 NaN
3 3.0 NaN
- 对于 inputs 中的类别值或离散值,我们将 “NaN” 视为一个类别。由于 “巷子”(“Alley”)列只接受两种类型的类别值 “Pave” 和 “NaN”,pandas 可以自动将此列转换为两列 “Alley_Pave” 和 “Alley_nan”。巷子类型为 “Pave” 的行会将“Alley_Pave”的值设置为1,“Alley_nan”的值设置为0。缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)
NumRooms Alley_Pave Alley_nan
0 3.0 1 0
1 2.0 0 1
2 4.0 0 1
3 3.0 0 1
2.2.3 转换为张量格式
现在 inputs 和 outputs 中的所有条目都是数值类型,它们可以转换为张量格式。当数据采用张量格式后,可以通过在上一节中引入的那些张量函数来进一步操作。
import torch
X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y
(tensor([[3., 1., 0.],
[2., 0., 1.],
[4., 0., 1.],
[3., 0., 1.]], dtype=torch.float64),
tensor([127500, 106000, 178100, 140000]))
2.2.4 总结
-
像庞大的 Python 生态系统中的许多其他扩展包一样,pandas 可以与张量兼容。
-
插值和删除可用于处理缺失的数据。
课后练习
创建包含更多行和列的原始数据集。
- 删除缺失值最多的列。
- 将预处理后的数据集转换为张量格式。
因为该课后练习和前面的操作没太大区别,请感兴趣的朋友们自行完成练习。
这一节就到这了,我们下一节再见~~