基于机器学习决策树算法预测贷款用户是否具有偿还贷款的能力

决策树算法的简介

决策树算法是机器学习中的监督学习算法，决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析，其实就是通过一系列规则对数据进行分类的过程。

决策树完成分类的直观体现

数据结构中有一个树状结构叫做二叉树，二叉树上每个非叶子结点都有一个条件，满足条件的放到结点的右边，不满足条件的放到结点的左边。

决策树类似于二叉树，它每个非叶子结点上都有一个根据样本特征判断的条件，这个条件叫做决策，满足决策的放到结点的右边，不满足决策的放到结点的左边。

现在我们有一个家庭数据集，每一个人看成是一个样本，每个样本有两个特征，分别是年龄特征和性别特征，假设年龄小于15的男性是最喜欢踢足球的，现在我们能否使用决策树算法选出这个家庭中的五个人谁是最喜欢踢足球的？

于是我们构造出了如图所示的一棵决策树，现在我们将所有的数据样本输入到这棵决策树中，这个决策树将先根据年龄进行决策，再根据性别进行决策，根据这棵决策树，可以知道只有这个小男生是喜欢踢足球的，也就是说只有他是符合年龄小于15的男性，这就是决策树算法完成分类任务的直观体现。现在的问题是如何才能根据已有数据集构建出一棵决策树呢？

决策树的构造

我们知道树结构是一个递归的结构，一棵完整的决策树可以分解为多棵小型的决策树，确定一棵树结构关键在于确定根节点，只要根节点确定了就可以根据递归构造出整棵树了。我们知道决策树算法中根节点是样本特征判断的条件，那么问题来了，到底哪个特征要作为根节点呢？

我们可以使用熵来帮助我们判断，具体来说，我们需要确定数据集中哪个特征的熵是最大的，那么这个特征就会作为根节点，然后利用递归的思想，逐渐往下构建树结构，寻找其它特征来作为下一级的根节点，逐渐递归，最终根据数据集就构建出一棵符合数据集的决策树，这样的决策树是符合数据集的统计分布的。

决策树算法预测贷款用户还贷款的能力

在贷款数据集中样本主要具备三个特征，特征一是否拥有房产，特征二是否结婚，特征三平均月收入。在决策树中每一个内部节点都表示一个特征条件判断，叶子节点表示贷款用户是否具有偿还能力。

当我们通过决策树算法构造出这样的决策树的时候，我们就可以利用这棵决策树模型来预测未知用户是否有还贷的能力，以此来确定贷款给该用户的可靠性。

举一个例子来说明，有一个用户的样本特征是没有房产，没有结婚，月收入 5K，那么这个用户是否有还贷能力呢？

通过决策树的根节点判断，该用户没有房产，所以它走右分支，再因为他没有结婚，他符合左边分支，然后判断月收入是否大于 4k，用户符合左边分支 ，该用户落在“可以偿还”的叶子节点上，所以预测用户甲具备偿还贷款能力。

这就是决策树算法的构造以及决策树算法在预测贷款用户是否具有偿还贷款的能力上的应用。