项目竞赛第一章
EDA-数据探索性分析
1.观察数据
- 通过 .head()和shape简略观察数据
- 通过 .describe()来观察数据的相关统计量,包括count,mean,std.min,中位数25%,50%,75%,max。这里重点注意的是,如果出现9999999-1等值是nan的另一种表现形式
- 通过 .info()可以观察到是否有缺失值的情况,并查看特征的数据类型(当类型为object时,注意出现缺失情况)
2.判断数据缺失和异常
- train_data.isnull().sum(),可以查看每列的缺失值统计信息(这里只能查看数值类型的缺失值情况,其他例如object类型的缺失使用其他方法)。也同样可以使用可视化的方法看数据的缺失情况,通过引入missingno库可以进行nan可视化(import missingno as msno)
- 处理异常值:1.数据类型为object类型,2.类别特征出现严重偏斜时,可以考虑删除此特征3.可以作箱型图可以看出是否出现异常值,一般最边线以外的点为异常点,具体参考https://baike.baidu.com/item/箱形图/10671164?fr=aladdin
3.了解预测值的分布
主要使用seaborn来观察数据间的相关性
4.pandas_profiling生成html文件直接观察,简单,但是真的慢,嘎嘎嘎