暂时只使用MAE(mean_absolute_error)评估模型的优劣,使用pandas库,导入(import pandas as pd),读取数据pd.read_csv("../input/--.csv"),数据会被读取包装成DataFrame,data.columns查看数据的列名,data.describe(),data.head()查看数据的大概分布情况。
数据集很少有不缺失或者全是数值型数据的。所以这时候如何处理缺失值以及非数值型数据就需要我们思考了,而且对于一个数据集,可能需要补充缺失值也需要考虑非数值数据的转换。
数据缺失值处理的三种方法:
1.删除缺失列(缺失值较多的情况下使用,50%以上,否则导致模型不准确),采用drop()方法;
2.对缺失数据进行填充,使用均值(mean,median,most_frequent)等策略填充,采用SimpleImputer();
3.加一新列表示缺失值的位置(没搞懂)
注意:缺失值填充时先使用fit_transform()方法对train填充,后使用transform方法填充,顺序不可变,函数不可变
非数值类型(object)数据处理的三种方法:
1.直接删除(如果列不包含有用信息),使用select_dtypes()方法
2.标签编码(标为不同整数),从sklearn.preprocessing导入LabelEncoder()编码。
3.one-hot编码(大于15种类型时不适用),从sklearn.preprocessing导入OneHotEncoder()编码。