七月机器学习之决策树随机森林和adaboost11

信息是对不确定性的度量
平均互信息是衡量两个概率分布之间的相似性，互信息高那么相似性就比较大

他们之间的运算关系都在这个图里
I是互信息
熵减去条件熵就是互信息
条件熵是衡量差异性的
也就是说，之前的不确定性减去之后的不确定性等于不确定性的减少，不确定性的减少意味着确定性的增加，实际上就是我们寻找的相关性

主要理解ID3即可

A是特征，D是标签label

决策树的面试会问

由以下公式可知，基尼系数实际上是熵的一种近似
Pk是某一个样本基于这一类特征属于某一类的概率
0.5时取最大值

adaboost实际上是对不同的分类器设置权重，如果所有的分类器都是决策树的话，那么实际上bagging就变成了随机森林，随机森林的随机是样本的选取是随机的，特征的选取是随机的，样本的随机抽取是有放回的。随机森林对分类器没有权重，对样本有权重

G和阿尔法都是需要选择的