- 博客(2)
- 收藏
- 关注
RSS订阅原创 最大熵模型的学习和对偶问题
原式子后两项则为h（x），要满足仿射函数（最高次数为1次的多项式），原式后面两项都是关于P的一次式，则满足条件。所以，我们可以知道原始问题和对偶问题的解是相等的。最小，即希望后面两项式子最大，即先求出使得L最大W(w0,w1...wn)的数值，求出的W带回L函数中，求出满足L最小的P。由于加了负号，求最大值变为求最小值，对于有约束的条件下求最值问题，我们常用拉格朗日乘数法解决。对偶问题先求出关于P的最小值，再求关于W的最大值。而对偶问题则是，先确定使得L最小的P，再求出使得L最大的W值。...
2022-07-21 22:29:15
529
原创 最大熵模型原理和定义
将最大熵原理应用到分类得到最大熵模型学习目标给定一个训练数据集，学习的目标就是根据最大熵原理选择最好的分类模型模型应用假设分类模型是一个条件概率分布，,分别表示输入和输出。这个模型就是表示对于给定的输入，以条件概率分布输出。此时，建模目标就是。可以用特征函数来描述输入和输出的之间的某一个事实，例如可以假设其中一个特征函数为【补充期望定义在一个离散型随机变量实验中每次可能结果的概率乘以其结果的总和】故f(x,y)关于P(x,y)的期望值为从训练集可以用经验分布。...
2022-07-21 00:58:09
1336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人