《统计学习方法》学习笔记5——关于最大熵模型学习

拉格朗日乘子

博客

如何理解拉格朗日乘子法？：https://www.zhihu.com/question/38586401
解密SVM系列（一）：关于拉格朗日乘子法和KKT条件：https://blog.csdn.net/on2way/article/details/47729419
解密SVM系列（二）：SVM的理论基础：https://blog.csdn.net/on2way/article/details/47729827
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件：https://blog.csdn.net/xianlingmao/article/details/7919597

适用条件

应用于凸函数的带约束的组合优化问题。

KKT条件

关于带等式以及不等式的约束条件的凸函数优化。任何原始问题约束条件无非最多3种，等式约束，大于号约束，小于号约束，而这三种最终通过将约束方程化简化为两类：约束方程等于0和约束方程小于0。
KKT条件：函数的最优值必定满足下面条件：
(1) L对各个x求导为零；
(2) h(x)=0;
(3) ∑αigi(x)=0，αi≥0。

最大熵模型

博客

最大熵模型（MaxEnt）：万法归宗（上）https://blog.csdn.net/baimafujinji/article/details/78986906
最大熵模型（MaxEnt）：万法归宗（下）https://blog.csdn.net/baimafujinji/article/details/78992878

最大熵模型

由于拉格朗日函数L(P,w)是P的凸函数，原始问题与对偶问题的解是等价的。这样便可以通过求解对偶问题来求解原始问题。
对偶函数的极大化等价于最大熵模型的极大似然估计。

Python代码实现

博客

李航《统计学习方法》第六章——用Python实现逻辑斯谛回归（MNIST数据集）https://blog.csdn.net/wds2006sdo/article/details/53084871
李航《统计学习方法》第六章——用Python实现最大熵模型（MNIST数据集）https://blog.csdn.net/wds2006sdo/article/details/53106579