EDA就是拿到数据后对数据进行探索,发现数据有何特征或问题,它可以:
1.更好地理解数据
2.建立对数据的直觉
3.形成假设
4.洞察数据
EDA的一个主要方式就是数据可视化,这让你可以直观地看到数据的分布,模式等。
三个步骤:
1.获取领域相关知识
每份数据可能都是关于不同行业的,数据探索前,先熟悉相关领域的知识,处理数据时更能游刃有余
2.检查数据是否符合直觉
假如数据有一个特征年龄,出现了264这种数字,显然是错误的
3.理解数据是如何收集的
有没有用过过采样,欠采样等等,这样才能更好地设计验证机制
如果训练集和测试集是由不同的方式收集,那我们就不能在训练集中选取部分作为验证集
匿名数据
在数据竞赛中,竞赛举办方为了不暴露公司重要信息,会有数据匿名的情况,比如编码文本,去除特征名称,
如图,特征名被x1,x2…代替