机器学习听课笔记5.19

一、对率回归（也叫sigmod函数）

lny/1-y = thetaTx
首先先行表示，然后再分类，可以用于线性可分的问题

二、决策树

分类平面是非线性的，是启发的（不一定寻找到最优解）

1、ID3

思想

每个属性单独考察，看看那个合适做根节点，重复过程。

伪代码

如何选择属性X？
纯度大，熵小

熵表示不确定性，与不确定性有关的因素：

特点


k的数量表示i数量，pk代表概率代表，-log表示不确定度。

信息增益

对于节点a来说，可以取值有v个。如果在a上的信息上越小，信息增益越大。

如果用编号作为节点，信息增益很大。隐含意义：偏好对于属性可选值多的

2、C4.5

3、过拟合

决策树里的过拟合是指在相同的性能下，枝多的。
偏差方差


两种过拟合的方法
预剪枝，后剪枝

两者对比
略

4、连续值处理

利用二分法对连续属性离散化

三、集成学习

投票输出，所以一般学习器数目是单数

1、Boosting：强依赖，串行

典型：AdaBoost（Adaptive Boosting）

因此可以看到前面的分类器都是辅助的，最后一个才是最关键的，但是都是弱分类器。

2、Bagging和随机森林：没有依赖，并行

Bagging是有放回抽样，得到m个样本的采样集，可以得到T个这样的训练集，最后投票。

从这个图来看，不仅样本随机，选用的属性也随机，这也从侧面改变了样本分布。因此可以降低过拟合。

影响