EDA-数据探索性分析
EDA-数据探索性分析
EDA的价值在于熟悉数据集,了解变量之间的关系以及变量与预测值之间的关系,为下一步的特征工程做准备,此次的目标就是做过baseline。
数据读取
用pandas读取后,发现regDate和creatDate看似都为同样的日期格式,但是用
pd.to_datetime(train['creatDate'], format='%Y%m%d', errors='ignore')
处理后只有creatDate这个特征能变为时间格式,另一个regDate就不行,于是使用apply+匿名函数的方法分别提取年月日特征。
数据缺失和异常
用train.isnull().sum()方法看bodyType,fuelType和gearbox存在nan的情况,然后用missingno这个包将数据nan可视化,发现测试集和训练集的nan分布差不多,这个骚操作我还是第一次见,值得学习。
然后用info看到notRepairedDamage这个是object类型,这个特征是汽车有尚未修复的损坏,然后画图看一下
发现分布一样