- 为了能用深度学习来解决现实世界的问题,我们经常从预处理原始数据开始, 而不是从那些准备好的张量格式数据开始。
- 在Python中常用的数据分析工具中,我们通常使用pandas软件包,像庞大的Python生态系统中的许多其他扩展包一样,pandas可以与张量兼容。
- 下面将简要介绍使用pandas预处理原始数据,并将原始数据转换为张量格式的步骤。
读取数据集
import os
import pandas as pd
os.makedirs(os.path.join('.', 'data'), exist_ok=True) # 递归创建文件夹,文件夹默认属性为777,exist_ok默认为False,如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv') # 创建文件
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每行表示一个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')
data = pd.read_csv(data_file) # 读取csv文件
print(data) # NumRooms Alley Price
# 0 NaN Pave 127500
# 1 2.0 NaN 106000
# 2 4.0 NaN 178100
# 3 NaN NaN 140000
处理缺失值
“NaN”项代表缺失值。 为了处理缺失的数据,典型的方法包括插值法和删除法, 其中插值法用一个替代值弥补缺失值,而删除法则直接忽略缺失值。 在这里,我们将考虑插值法。
通过位置索引 iloc ,我们将data分成inputs和outputs, 其中前者为data的前两列,而后者为data的最后一列。 对于inputs中缺少的数值,用同一列的均值替换“NaN”项。
import os
import pandas as pd
os.makedirs(os.path.join('.', 'data'), exist_ok=True) # 递归创建文件夹,文件夹默认属性为777,exist_ok默认为False,如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv') # 创建文件
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每行表示一个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')
data = pd.read_csv(data_file) # 读取csv文件
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
# inputs = inputs.fillna(inputs.mean()) # FutureWarning: The default value of numeric_only in DataFrame.mean is deprecated.
# # In a future version, it will default to False.
# # In addition, specifying 'numeric_only=None' is deprecated.
# # Select only valid columns or specify the value of numeric_only to silence this warning.
# # inputs = inputs.fillna(inputs.mean())
# # mean()函数用于求取均值
# print(inputs)
# 对于inputs中的类别值或离散值,我们将“NaN”视为一个类别。
# 由于“巷子类型”(“Alley”)列接受三种类型的类别值“Pave”,“Dave”和“NaN”, pandas可以自动将此列转换为三列“Alley_Pave”,“Alley_Dave”和“Alley_nan”。
# 巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1,“Alley_nan”的值设置为0。
# 缺少巷子类型的行会将“Alley_Pave”,“Alley_Pave”和“Alley_nan”分别设置为0和1。
inputs = pd.get_dummies(inputs, dummy_na=True) # dummy_na默认为False,设置为True表示将NaN视为一个类别
print(inputs) # NumRooms Alley_Dave Alley_Pave Alley_nan
# 0 NaN 0 1 0
# 1 2.0 1 0 0
# 2 4.0 0 0 1
# 3 NaN 0 0 1
转换为张量格式
- 现在inputs和outputs中的所有条目都是数值类型,它们可以转换为张量格式。
- 当数据采用张量格式后,可以通过在 :numref:sec_ndarray中引入的那些张量函数来进一步操作。
import os
import pandas as pd
import torch
os.makedirs(os.path.join('.', 'data'), exist_ok=True) # 递归创建文件夹,文件夹默认属性为777,exist_ok默认为False,如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv') # 创建文件
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每行表示一个数据样本
f.write('2,Dave,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')
data = pd.read_csv(data_file) # 读取csv文件
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
inputs = pd.get_dummies(inputs, dummy_na=True) # dummy_na默认为False,设置为True表示将NaN视为一个类别
X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
print(X,"\n",y) # tensor([[3., 0., 1., 0.],
# [2., 1., 0., 0.],
# [4., 0., 0., 1.],
# [3., 0., 0., 1.]], dtype=torch.float64)
# tensor([127500, 106000, 178100, 140000])
小结
- pandas软件包是Python中常用的数据分析工具中,pandas可以与张量兼容。
- 用pandas处理缺失的数据时,我们可根据情况选择用插值法和删除法。
练习
创建包含更多行和列的原始数据集。
- 删除缺失值最多的列。
- 将预处理后的数据集转换为张量格式。
练习答案
import os
import pandas as pd
import torch
os.makedirs(os.path.join('.', 'data'), exist_ok=True) # 递归创建文件夹,文件夹默认属性为777,exist_ok默认为False,如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv') # 创建文件
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price,Space\n') # 列名
f.write('NA,Pave,127500,150\n') # 每行表示一个数据样本
f.write('2,Dave,106000,NA\n')
f.write('4,NA,178100,NA\n')
f.write('NA,NA,140000,NA\n')
f.write('NA,NA,NA,NA\n')
f.write('NA,Dove,NA,NA\n')
f.write('NA,Dove,15000,NA\n')
data = pd.read_csv(data_file) # 读取csv文件
nan_num = data.isnull().sum() # 获取每列Nan数量的列表
nan_max_id = nan_num.idxmax() # 获取最多Nan的列名
print(nan_max_id) # Space
print(data) # NumRooms Alley Price Space
# 0 NaN Pave 127500.0 150.0
# 1 2.0 Dave 106000.0 NaN
# 2 4.0 NaN 178100.0 NaN
# 3 NaN NaN 140000.0 NaN
# 4 NaN NaN NaN NaN
# 5 NaN Dove NaN NaN
# 6 NaN Dove 15000.0 NaN
print(data.drop(nan_max_id,axis=1)) # 删除缺失值最多的列 axis = 0表示行操作,axis = 1表示列操作。
# NumRooms Alley Price
# 0 NaN Pave 127500.0
# 1 2.0 Dave 106000.0
# 2 4.0 NaN 178100.0
# 3 NaN NaN 140000.0
# 4 NaN NaN NaN
# 5 NaN Dove NaN
# 6 NaN Dove 15000.0
inputs = data.drop(nan_max_id,axis=1)
inputs = inputs.fillna(inputs.mean(numeric_only=True),axis=0)
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)
X = torch.tensor(inputs.values)
print(X) # tensor([[3.0000e+00, 1.2750e+05, 0.0000e+00, 0.0000e+00, 1.0000e+00, 0.0000e+00],
# [2.0000e+00, 1.0600e+05, 1.0000e+00, 0.0000e+00, 0.0000e+00, 0.0000e+00],
# [4.0000e+00, 1.7810e+05, 0.0000e+00, 0.0000e+00, 0.0000e+00, 1.0000e+00],
# [3.0000e+00, 1.4000e+05, 0.0000e+00, 0.0000e+00, 0.0000e+00, 1.0000e+00],
# [3.0000e+00, 1.1332e+05, 0.0000e+00, 0.0000e+00, 0.0000e+00, 1.0000e+00],
# [3.0000e+00, 1.1332e+05, 0.0000e+00, 1.0000e+00, 0.0000e+00, 0.0000e+00],
# [3.0000e+00, 1.5000e+04, 0.0000e+00, 1.0000e+00, 0.0000e+00, 0.0000e+00]],
# dtype=torch.float64)