kaggle学习之三——分析属性

1.partial dependence plot这个主要用来分析特征和目标之间的关系

2.pipelines:用这个，可以让你的代码看起来很优雅。

Take your modeling code and convert it to use pipelines. For now, you'll need to do one-hot encoding of categorical variables outside of the pipeline (i.e. before putting the data in the pipeline).

3.cross_validation:

区别于train_test_split，交叉验证集用于小数据集获取好的结果（重复取数据）。对于大数据集，通常考虑分离数据就可以了， 不要重复了。

小数据集，需要验证每个数据，因为小的数据集容易引入很大的噪声；但是对于大数据集，其不太容易引入太多的噪声。

4.数据泄露的问题

数据泄露就是在测试机上效果还可以，但是在真实情况下，分分钟钟就跪了，而且跪的很严重。

常见的原因不好分析：

目前知道的有，因为一些粗心导致的错误，例如对全部数据进行预处理，然后测试model，效果好。核心是，训练中使用的测试集的一些特性，所以导致测试效果还不错。此处可以考虑pipeline来避免；

还有一种就是逆天的准确率。这种常常是违背常理的一些东西。例如，依据是否吃抗生素来确定是否有肺炎，依据信用卡的消费情况来预测是否有信用卡等等。针对这种情况，要有针对性的剔除一些特征。因为，当你判断是否给这个办理信用卡时，你不能问他你的信用卡的消费记录给我看一下。