《动手学深度学习》第二章——预备知识_2.2数据预处理_学习思考与习题答案

---

2.2数据预处理

作者 github链接： github链接

习题

创建包含更多行和列的原始数据集。
删除缺失值最多的列。
将预处理后的数据集转换为张量格式。

解答过程

为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始， 而不是从那些准备好的张量格式数据开始。 在Python中常用的数据分析工具中，我们通常使用pandas软件包。 像庞大的Python生态系统中的许多其他扩展包一样，pandas可以与张量兼容。 本节我们将简要介绍使用pandas预处理原始数据，并将原始数据转换为张量格式的步骤。 我们将在后面的章节中介绍更多的数据预处理技术。

读取数据集

举一个例子，我们首先(创建一个人工数据集，并存储在CSV（逗号分隔值）文件) ../data/house_tiny.csv中。 以其他格式存储的数据也可以通过类似的方式进行处理。 下面我们将数据集按行写入CSV文件中。

import os

os.makedirs(os.path.join('..', 'data'), exist_ok=True)#创建一个文件夹
data_file = os.path.join('..', 'data', 'house_tiny.csv')#写了一个csv文件，csv(逗号分隔值文件格式):每一行是一组个数据，每一列是是用逗号分开的。
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price,area\n')  # 列名（自己造了一列面积的内容）
    f.write('NA,Pave,127500,120\n')  # 每行表示一个数据样本
    f.write('2,NA,106000,100\n')
    f.write('4,NA,178100,170\n')
    f.write('NA,NA,140000,140\n')
    f.write('NA,NA,140000,130\n')

要[从创建的CSV文件中加载原始数据集]，我们导入pandas包并调用read_csv函数。该数据集有四行三列。其中每行描述了房间数量（“NumRooms”）、巷子类型（“Alley”）、房屋价格（“Price”）和房屋面积（area）。

# 如果没有安装pandas，只需取消对以下行的注释来安装pandas
# !pip install pandas
import pandas as pd

data = pd.read_csv(data_file)
data

输出：

处理缺失值

注意，“NaN”项代表缺失值。 [为了处理缺失的数据，典型的方法包括插值法和删除法，] 其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。删除缺失值最多的列。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())#我们用同一列的均值替换“NaN”项
print(inputs)

输出：

   NumRooms   Price
0       3.0  127500
1       2.0  106000
2       4.0  178100
3       3.0  140000
4       3.0  140000

转换为张量格式

[现在inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式。] 当数据采用张量格式后，可以通过在 :numref:sec_ndarray中引入的那些张量函数来进一步操作。

import torch

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y

输出：

(tensor([[3.0000e+00, 1.2750e+05],
         [2.0000e+00, 1.0600e+05],
         [4.0000e+00, 1.7810e+05],
         [3.0000e+00, 1.4000e+05],
         [3.0000e+00, 1.4000e+05]], dtype=torch.float64),
 tensor([120, 100, 170, 140, 130]))