kaggle平台学习的简单数据预处理

暂时只使用MAE（mean_absolute_error）评估模型的优劣，使用pandas库，导入（import pandas as pd）,读取数据pd.read_csv("../input/--.csv"),数据会被读取包装成DataFrame,data.columns查看数据的列名，data.describe(),data.head()查看数据的大概分布情况。

数据集很少有不缺失或者全是数值型数据的。所以这时候如何处理缺失值以及非数值型数据就需要我们思考了，而且对于一个数据集，可能需要补充缺失值也需要考虑非数值数据的转换。

数据缺失值处理的三种方法：

1.删除缺失列（缺失值较多的情况下使用，50%以上，否则导致模型不准确），采用drop()方法；

2.对缺失数据进行填充，使用均值（mean,median,most_frequent）等策略填充，采用SimpleImputer();

3.加一新列表示缺失值的位置（没搞懂）

注意：缺失值填充时先使用fit_transform()方法对train填充，后使用transform方法填充，顺序不可变，函数不可变

 

非数值类型(object)数据处理的三种方法：

1.直接删除（如果列不包含有用信息），使用select_dtypes()方法

2.标签编码（标为不同整数），从sklearn.preprocessing导入LabelEncoder（）编码。

3.one-hot编码（大于15种类型时不适用），从sklearn.preprocessing导入OneHotEncoder（）编码。