动手学深度学习pytorch版练习解答——2.2预备知识/数据预处理

我在jupyter notebook完成的练习，花的时间有点多毕竟是新学的，像是判断数字、判断数值是否为空、删除指定列这些，给新看这本书的朋友们一个参考。先贴出整体运行结果，后面放代码

以下是代码部分：

import os
os.makedirs(os.path.join('..','practice'),exist_ok=True)
practice_file=os.path.join('..','practice','student_scores.csv')
with open(practice_file,'w') as f:
    f.write('stu_num,stu_name,stu_course,stu_score\n')
    f.write('1,Lily,English,100\n')
    f.write('1,Lily,Physics,80\n')
    f.write('2,NA,Computer Science,90\n')
    f.write('2,NA,Database,88\n')
    f.write('NA,John,Math,99\n')
    f.write('4,Lisa,NA,100\n')
    f.write('5,NA,French,50\n')
    f.write('6,GOGO,NA,10\n')

#删除缺失值最多的列
import pandas as pd
practice_data=pd.read_csv(practice_file)
print(practice_data)

#取横纵长度
column_len,row_len=len(practice_data.iloc[0,:]),len(practice_data.iloc[:,0])
#统计每一栏nan的数目
nan_sum=[0 for i in range(column_len)]
print("列长度：{}，行长度：{}，统计nan的数组：{} ".format(column_len,row_len,nan_sum))
import math
import numbers
for i in range(column_len):
    for j in range(row_len):
        #NaN有两种：数字和字符串，这个要分开来判断
        #注意是第j+1行、第i+1列
        if isinstance(practice_data.iloc[j,i],numbers.Number) == True:
            if math.isnan(practice_data.iloc[j,i]) == True:
                nan_sum[i] += 1
        else:
            if practice_data.iloc[j,i]=='NaN':
                nan_sum[i] += 1        
max_index=[]#取列表是因为可能有多个列有最多的nan
most_nan=max(nan_sum)
for i,j in enumerate(nan_sum):
    if j == most_nan:
        max_index.append(practice_data.columns.values[i])
print("含有最多缺失值的列为{}".format(max_index))

print("未删除最多缺失值列前：")
print(practice_data)

#开始删除缺失值最多的列
#这个drop删的是列的名称,要记得更新
practice_data = practice_data.drop(max_index,axis=1)
print("删除了最多缺失值的列后")
print(practice_data)

#预处理的数据集转化为tensor
practice_inputs = practice_data.iloc[:,:]
practice_inputs = pd.get_dummies(practice_inputs,dummy_na=True)
print(practice_inputs)
import torch
Z = torch.tensor(practice_inputs.values)
print(Z)