第三步

今天上午在看逻辑回归的最大熵模型，里面的推导用到了拉格朗日乘子。所以赶紧把自己想到的东西记下来，防止自己忘记。
![](https://img-blog.csdnimg.cn/2019031209385230.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Fpc2h1aV9odQ==,size_16,color_FFFFFF,t_70)
拉格朗日函数成立的前提是约束条件为0，所以引入拉格朗日乘子与约束条件相乘是不影响最初函数值的。将原始问题转化为对偶问题。
![](https://img-blog.csdnimg.cn/20190312094313825.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Fpc2h1aV9odQ==,size_16,color_FFFFFF,t_70)
最后是求使得式子最大的拉格朗日乘子。因为当约束条件不满足时，w取无穷大可以使得式子为无穷大，所以无解，只有当约束条件满足时，才会有解，此时保证了约束条件为0以及最大熵模型。