条件随机场（CRF）——qjzcy的博客

导读：

一、 非线性规划
二、 求熵值最大化
三、 2个限制条件
四、 拉格朗日方程
五、 对偶表达式
六、 数值优化

---

条件随机场

一、 非线性规划
其实整个公式基本上就是非线性规划的经典流程，有兴趣大家可以看看非线性规划，有助于理解，没有直接跳过也可以，非线性规划的流程图我帮大家拉到这儿，大家可以对照着看看对应流程是怎么走的

非线性规划：
http://blog.csdn.net/qjzcy/article/details/51727741

二、 求熵值最大化
条件随机场，也是求熵的最大值，就是满足你设定的各种条件下，熵最大（基本上常见算法都这套路，最大熵，最大熵隐马，出现了熵那么显然这是个非线性规划的问题）。
熵的公式为：

三、 2个限制条件
1. 模型期望要等于特征期望
2. 条件概率之和要等于1
这两个是等值约束，等号嘛

四、 拉格朗日方程
于是到这里就成了带等值约束的非线性规划问题，见流程图，我们要用拉格朗日乘子法来解决
建拉格朗日方程的方法也比较简单，见图开头为所求最值部分，后面每一项为约束条件*变量，变量即为拉格朗日乘子

五、 对偶表达式
分别对拉格朗日乘子求导，把所有的拉格朗日乘子用其中一个表示，代入即可得对偶表达式，
如图最后的对偶方程中只有一个变量

然后就变为了一个变量的无约束的最值问题，于是各种数值最优的方法就都可以用上了，比如GIS，IIS，梯度下降，牛顿法，拟牛顿法等等。

六、 数值优化
见数值优化方法：
http://blog.csdn.net/qjzcy/article/details/51946304