导读:
一、 非线性规划
二、 求熵值最大化
三、 2个限制条件
四、 拉格朗日方程
五、 对偶表达式
六、 数值优化
条件随机场
一、 非线性规划
其实整个公式基本上就是非线性规划的经典流程,有兴趣大家可以看看非线性规划,有助于理解,没有直接跳过也可以,非线性规划的流程图我帮大家拉到这儿,大家可以对照着看看对应流程是怎么走的
非线性规划:
http://blog.csdn.net/qjzcy/article/details/51727741
二、 求熵值最大化
条件随机场,也是求熵的最大值,就是满足你设定的各种条件下,熵最大(基本上常见算法都这套路,最大熵,最大熵隐马,出现了熵那么显然这是个非线性规划的问题)。
熵的公式为:
三、 2个限制条件
1. 模型期望要等于特征期望
2. 条件概率之和要等于1
这两个是等值约束,等号嘛
四、 拉格朗日方程
于是到这里就成了带等值约束的非线性规划问题,见流程图,我们要用拉格朗日乘子法来解决
建拉格朗日方程的方法也比较简单,见图开头为所求最值部分,后面每一项为约束条件*变量,变量即为拉格朗日乘子
五、 对偶表达式
分别对拉格朗日乘子求导,把所有的拉格朗日乘子用其中一个表示,代入即可得对偶表达式,
如图最后的对偶方程中只有一个变量
然后就变为了一个变量的无约束的最值问题,于是各种数值最优的方法就都可以用上了,比如GIS,IIS,梯度下降,牛顿法,拟牛顿法等等。
六、 数值优化
见数值优化方法:
http://blog.csdn.net/qjzcy/article/details/51946304