最大熵模型

最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大使然估计。

这样最大熵模型的学习问题就转换为具体求解对数似然函数极大化或对偶函数极大化的问题。

逻辑斯蒂回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题。

IIS试图一次只优化其中一个变量theai，而固定其他变量。

这里B(thea|w)是对数似然函数改变量的一个新的(相对不紧)的下界。

对于该式子，出theai除外，不含其他变量，令偏导数为0得到：

牛顿法和拟牛顿法是求解无约束最优化问题的常用方法。牛顿法是迭代算法，每一步需要求解目标函数的海森矩阵的逆矩阵，计算复杂。拟牛顿通过正定矩阵近似海森矩阵的逆矩阵或海森矩阵。

在点x(k)的值，函数f(xk)有极值的必要条件是在极值点处有一阶导数为0，即梯度向量为0.特别是当H(xk)是正定矩阵时，函数f(x)的极值为极小值。