机器学习全套教程（十二）-- 决策树

Python爬虫人工智能教程：www.python88.cn

编程资源网：www.python66.cn

决策树

学习目标

• 目标
  • 说明信息熵的公式以及作用
  • 说明信息增益的公式作用
  • 应用信息增益实现计算特征的不确定性减少程度
  • 了解决策树的三种算法实现
• 应用
  • 泰坦尼克号乘客生存预测

1、认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

怎么理解这句话？通过一个对话例子

想一想这个女生为什么把年龄放在最上面判断！！！！！！！！！

2、决策树分类原理详解

为了更好理解决策树具体怎么分类的，我们通过一个问题例子？

问题：如何对这些客户进行分类预测？你是如何去划分？

有可能你的划分是这样的

那么我们怎么知道这些特征哪个更好放在最上面，那么决策树的真是划分是这样的

2.1 原理

• 信息熵、信息增益等

需要用到信息论的知识！！！问题：通过例子引入信息熵

2.2 信息熵

那来玩个猜测游戏，猜猜这32支球队那个是冠军。并且猜测错误付出代价。每猜错一次给一块钱，告诉我是否猜对了，那么我需要掏多少钱才能知道谁是冠军？ （前提是：不知道任意球队的信息、历史