- 博客(4)
- 收藏
- 关注
RSS订阅原创 决策树及其Python实现
1. 决策树算法决策树算法是一个递归地选择最优特征，并通过该特征对训练数据进行划分的过程。一般通过信息增益（ID3算法）或信息增益比（C4.5算法）来选择最优特征。信息增益： 其中，H(D)为经验熵，H(D|A)为条件经验熵。信息增益比：由于当特征A把数据集分的越细H(D|A)越小，所以特征类别越多，特征的信息增益越可能大。所以，针对特征类别数进行“惩罚”，除以一个
2016-11-03 21:03:59
317
原创 文章标题
1. 最大熵模型1.1 熵 熵的概念源自于热力学，在热力学中，熵为所有可能状态数的对数值，可以表示分子的混乱程度。将热力学中熵的概念引入到随机变量的分布中，则随机变量的熵度量了其不确定性的程度。 数学表达如下： 1.2 最大熵原理 最大熵原理指在满足约束的条件下，熵最大的模型是最优的模型。可以这样理解，”满足约束“说明该模型体现了所有已知信息，”熵最大“说明该模型的不确定性最大，即最大程度上保留
2016-10-28 00:30:49
246
原创 最大熵模型及Python实现
1. 最大熵模型1.1 熵 熵的概念源自于热力学，在热力学中，熵为所有可能状态数的对数值，可以表示分子的混乱程度。将热力学中熵的概念引入到随机变量的分布中，则随机变量的熵度量了其不确定性的程度。 数学表达如下： 1.2 最大熵原理 最大熵原理指在满足约束的条件下，熵最大的模型是最优的模型。可以这样理解，”满足约束“说明该模型体现了所有已知信息，”熵最大“说明该模型的不确定性最大，即最大程度上保留
2016-10-26 21:53:15
3864
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人