统计学习方法（五）Logistic回归与最大熵模型

5 Logistic回归与最大熵模型

5.1 logistic回归模型

事件的几率是指该事件发生的概率与不发生的概率的比值。
在 logistic回归模型中，输出Y的对数几率是输入X的线性函数。
通过模型可将线性函数转换为概率，线性函数的值越接近正无穷，概率值越接近1，线性函数的值越接近负无穷，概率值越接近0。

可以应用极大似然估计法估计模型参数，从而得到回归模型，得到w的估计。这样，问题就变成了以对数似然函数为目标函数的最优化问题。学习中常用的方法是梯度下降法及牛顿法。
可以从二项分类推广到多项回归模型。

5.2 最大熵模型

最大熵模型是由最大熵原理推导实现的。
最大熵原理认为，学习概率模型时，在所有可能的概率模型分布中，熵最大的模型是最好的模型。
最大熵模型时所有满足约束条件的模型中条件熵最大的模型。

最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最优化问题。

5.3 模型学习的最优化算法

logistic回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。