数据预处理

import os
#创建一个人工数据集，并存储在CSV（逗号分隔值）文件
os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')
data = pd.read_csv(data_file)

#DataFrame中np.NAN为缺省值
date =pd.DataFrame([[1,'spring','man'],[np.NAN ,'winter','woman'],[np.NAN,'sunmmer',np.NAN]],columns=['num','season','sex'])
#处理缺省值 data为人工数据集
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]

#inputs.drop('season',axis=1)
#删除’season‘，axis以列进行删除

inputs = inputs.drop('season',axis=1)
#inputs.mean()所有数值的平均值
#其中一列是string类型，没有均值，就不会变
inputs = inputs.fillna(inputs.mean())
print(inputs)
#结果如下所示
      NumRooms  Alley
0      3.0       Pave
1      2.0       NaN
2      4.0       NaN
3      3.0       NaN
#“巷子类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”， pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”
inputs = pd.get_dummies(inputs, dummy_na=True)
#结果如下所示
   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1

#inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式
from mxnet import np
X, y = np.array(inputs.values), np.array(outputs.values)

习题：
#求出date每一行nan的数量
x=date.isna().sum()
laber=x.idxmax()#求出求大的nan数量的列标签
date=date.drop(columns=laber,axis=1)#删除此列