Kaggle竞赛入门(一)：决策树算法的Python实现

本文翻译自kaggle learn，也就是kaggle官方最快入门kaggle竞赛的教程，强调python编程实践和数学思想（而没有涉及数学细节），笔者在不影响算法和程序理解的基础上删除了一些不必要的废话，毕竟英文有的时候比较啰嗦。

一.决策树算法基本原理

背景：假设你的哥哥是一个投资房地产的大佬，投资地产赚了很多钱，你的哥哥准备和你合作，因为你拥有机器学习的知识可以帮助他预测房价。你去问你的哥哥他是如何预测房价的，他告诉你说他完全是依靠直觉，但是你经过调查研究发现他预测房价是根据房价以往的表现来进行预测的，作为一个机器学习编程者，正好也可以以往的房价进行未来房价的预测。机器学习当中有一个决策树的算法，可以用于未来房价的预测，这个模型是这样的，如下所示：

 

 

 第一行的第一框表示程序的流程图："如果房子里超过了2个卧室"则执行yes,不是的话则执行“No”,执行yes之后，我们就对它进行预测后的房价是188000刀，执行“no”之后的预测房价则是178000刀，这就是一个简单的决策树。一个条件只有是和否两个分支，但是能不能让这个模型更加合理一点呢？因此我们拟合出了第二个模型，如下图所示：

 

 

 可以从中看到，除了考虑房子里拥有的房间数量，第二个statement（条件）还考虑到了房子的总面积是多大，接着再根据房间的总面积大小进行预测。得到预测的房价也就是prediccted price，我们将其命名为：“leaf”，中文也就是树叶的意思。这就是决策树算法的基本原理了！如果你想深挖其中的数学原理的话，我们将会在后面的章节当中讲解到。

二.使用Pandas来处理你的数据

pandas是Python程序里面的一个包，常常用于数据缺失值的处理和数据的清理，也用于导入数据。我们在Python当中导入这个包的代码如下：

import pandas as pd

在pandas当中最重要的部分就是DataFrame这个数据结构，这个数据结构将你导入的数据全部变成一张表的形式，学习过R语言的同学应该很清楚这是什么，没有学过的话你就把它当成一个类似EXCEL表格的东西就可以了，我们可以用pandas像EXCEL表格一样来处理数据。你使用pandas也是主要是使用DataFrame这个数据结构。假设你想要导入墨尔本的房价CSV数据到pandas当中，这个CSV文件的路径如下所示：

../input/melbourne-housing-snapshot/melb_data.csv

我们导入数据到pandas当中的代码如下：

# save filepath to variable for easier access
melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv'
# read the data and st