系列文章目录
跟李沐学AI:chapter_preliminaries/pandas下的课后练习
前言
记录一下学习收获以及疑惑
小结
pandas软件包是Python中常用的数据分析工具中,pandas可以与张量兼容。
用pandas处理缺失的数据时,我们可根据情况选择用插值法和删除法。
练习
创建包含更多行和列的原始数据集。
删除缺失值最多的列。
将预处理后的数据集转换为张量格式。
1.创建包含更多行和列的原始数据集。
代码如下(示例):
import os
os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w+') as f:
f.write('NumRooms,Alley,Price,Exercise\n') # 列名
f.write('NA,Pave,127500,Trump\n') # 每行表示一个数据样本
f.write('2,NA,106000,Biden\n')
f.write('4,NA,178100,Harris\n')
f.write('NA,NA,140000,NA\n')
f.write('6,NA,30000,NA\n')
f=open(data_file,'r')
print(f.read())
f.close()
2.删除缺失值最多的列
cnt_na=data.isnull().sum(axis=0)#计算NA数量
print(cnt_na)
id_del=cnt_na.idxmax()#返回最大值索引
print(id_del)
data=data.drop(columns=id_del)#删除后要重新赋值
print(data)
运行结果:
NumRooms 2
Alley 4
Price 0
Exercise 2
dtype: int64
Alley
NumRooms Price Exercise
0 NaN 127500 Trump
1 2.0 106000 Biden
2 4.0 178100 Harris
3 NaN 140000 NaN
4 6.0 30000 NaN
3.将预处理后的数据集转换为张量格式。
import torch
X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y
运行结果:
(tensor([[4., 0., 0., 1., 0.],
[2., 1., 0., 0., 0.],
[4., 0., 1., 0., 0.],
[4., 0., 0., 0., 1.],
[6., 0., 0., 0., 1.]], dtype=torch.float64),
tensor([127500, 106000, 178100, 140000, 30000]))