kaggle学习之三——分析属性

1.partial dependence plot这个主要用来分析特征和目标之间的关系

2.pipelines:用这个,可以让你的代码看起来很优雅。

Take your modeling code and convert it to use pipelines. For now, you'll need to do one-hot encoding of categorical variables outside of the pipeline (i.e. before putting the data in the pipeline).

3.cross_validation:

区别于train_test_split,交叉验证集用于小数据集获取好的结果(重复取数据)。对于大数据集,通常考虑分离数据就可以了, 不要重复了。

小数据集,需要验证每个数据,因为小的数据集容易引入很大的噪声;但是对于大数据集,其不太容易引入太多的噪声。

4.数据泄露的问题

数据泄露就是在测试机上效果还可以,但是在真实情况下,分分钟钟就跪了,而且跪的很严重。

常见的原因不好分析:

目前知道的有,因为一些粗心导致的错误,例如对全部数据进行预处理,然后测试model,效果好。核心是,训练中使用的测试集的一些特性,所以导致测试效果还不错。此处可以考虑pipeline来避免;

还有一种就是逆天的准确率。这种常常是违背常理的一些东西。例如,依据是否吃抗生素来确定是否有肺炎,依据信用卡的消费情况来预测是否有信用卡等等。针对这种情况,要有针对性的剔除一些特征。因为,当你判断是否给这个办理信用卡时,你不能问他你的信用卡的消费记录给我看一下。

发布了161 篇原创文章 · 获赞 80 · 访问量 25万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览