备战数学建模43-决策树&随机森林&Logistic模型(攻坚站7)

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。随机森林 (Random forest)[5] 是由美国科学家 Leo Breiman 将其在 1996 年提出的
Bagging 集成学习理论 与 Ho 在 1998 年提出的随机子空间方法相结合，于 2001 年发
表的一种机器学习算法。logistic回归又称logistic回归分析，主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的因变量就是是否胃癌，即“是”或“否”，为两分类变量，自变量就可以包括很多了，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。通过logistic回归分析，就可以大致了解到底哪些因素是胃癌的危险因素。

目录

一、决策树

1.1、决策树算法概述

1.2、熵值的作用

1.3、决策树构造实例

1.4、信息增益率与gini系数

 1.5、剪枝的方法

 1.6、决策树实验案例及分析

二、随机森林

2.1、随机森林的算法原理

2.2、随机森林的优势与特征重要指标

 2.3、随机森林的分类过程

2.4、随机森林的实验案例及分析