动手学深度学习——数据预处理

1、创建一个人工数据集，并存储在csv（逗号分隔值）文件

"""
创建一个人工数据集，并存储在csv（逗号分隔值）文件
"""
import os
os.makedirs(os.path.join('..','data'),exist_ok=True)
data_file=os.path.join('..','data','house_tiny.csv') #文件名
with open(data_file,'w') as f :
    f.write('NumRooms,Alley,Price\n') # 列名 房间个数、路、价钱
    f.write('NA,Pave,127500\n')  #每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

2、从创建的CSV文件中加载原始数据集

"""
从创建的CSV文件中加载原始数据集
"""
import pandas as pd
data= pd.read_csv(data_file)
print(data)

 

3、为了处理缺失的数据，典型的方法包括插值、删除，这里我们将考虑插值

inputs,outputs=data.iloc[:,0:2],data.iloc[:,2] # 把所有的行拿出来给inputs，把第二列全部拿出来给outputs
inputs=inputs.fillna(inputs.mean())
print(inputs)

 

4、对于inputs中的类别值或离散值，我们将“NaN”视为一个类别

inputs=pd.get_dummies(inputs,dummy_na=True) #
print(inputs)

5、现在inputs和outputs中的所有条目都是数值类型，他们可以转换为张量格式

import torch
x,y=torch.tensor(inputs.values),torch.tensor(outputs.values)
print(x)
print(y)