逻辑斯蒂回归与最大熵模型

1 逻辑斯蒂回归模型

1.1 逻辑斯蒂分布

定义 1.1 逻辑斯蒂分布
$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-u)/r}}$$
$$f(x)=F^{{}^{\prime }}(x)=P(X\le x)=\frac{e^{-(x-u)/r}}{\gamma (1+e^{-(x-u)/r}{)}^2}$$
$u$是位置参数，$\gamma >0$是形状参数。

1.2 二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类别模型，由条件概率$P(Y|X)$表示，形式为参数化的逻辑斯蒂分布。
定义 1.2 二项逻辑斯蒂回归模型
$$P(Y=1|x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$$
$$P(Y=0|x)=\frac{1}{1+e^{w\cdot x+b}}$$
$w,b$是参数，对于给定的输入$x$，带入到上述的公式中，计算出$P(Y=1|x)$,$P(Y=0|x)$，将$x$分配到概率较大的类中去。

几率：$\frac{p}{1-p}$(也就是一件事情发生的概率比上这件事不发生的概率)
得出结论：输入Y=1的对数几率是由输入x的线性表示的逻辑斯蒂回归模型。

1.3 模型参数估计

也就是用极大似然估计法估计一个w使得$P(Y=1|x)$和$P(Y=0|x)$最大，这样模型参数估计的问题就变成了对数似然函数为目标函数的最优化问题，逻辑斯蒂回归学习中通常采用的算法是梯度下降法和拟牛顿法。其中似然函数如下：$$L={\Pi }_{i=1}^n[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$

1.4 多项逻辑斯蒂回归

解决多类分类的问题
$$P(Y=k|x)=\frac{e^{w_k\cdot x+b}}{1+{\sum }_{k=1}^{K-1}{e}^{w_k\cdot x+b}}$$
$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}{e}^{w_k\cdot x+b}}$$

2 最大熵模型

2.1 最大熵原理

最大熵原理是概率模型学习的一个准则，最大熵原理认为，学习概率模型时在所有可能的概率模型分布中，熵最大的模型是最好的模型。也就是在满足约束条件的模型集合中，选择熵最大的模型。
当X服从均匀分布时，此时熵最大。最大熵原理通过熵的最大化来表示等可能性。

2.2 最大熵模型的定义（推导）

最大熵模型就是最大熵原理应用到分类。
定义 1.3最大熵模型
假设满足所有约束条件的模型集合为：
C = { P ∈ P ∣ E p ( f i ) = E p ′ ( f i ) , i = 1 , 2 , 3 , . . . , n } C = \lbrace P\in P|E_p(f_i) = E_{p^{'}}(f_i),i=1,2,3,...,n\rbrace C={P∈P∣Ep​(fi​)=Ep′​(fi​),i=1,2,3,...,n}定义在条件概率分布$P(Y|X)$上的条件熵：
$$H(P)=-\sum _{x,y}{P}^{{}^{\prime }}(x)P(y|x)logP(y|x)$$则模型集合C中条件熵最大的模型就是最优模型。
特征函数为什么不是简单的计数函数的解析

2.3 最大熵模型的学习

最大熵模型的学习过程就是求解最大熵模型的过程，最大熵模型的学习可以形式化为约束最优化问题。
我们将约束化最有问题转换成无约束最优化的对偶问题，通过求解对偶问题来求解原始问题。
做法：引入拉格朗日乘子，构造拉格朗日函数。将原始的最优化问题表示成广义的拉格朗日极小极大问题（李航书的原话）。
$$mi{n}_x{\theta }_P(x)=mi{n}_{x}ma{x}_{\alpha ,\beta ;{\alpha }_i\le 0}(L(x,\alpha ,\beta ))$$
凸函数和凸优化
拉格朗日对偶性

2.4 极大似然估计

对偶函数的极大化等价于最大熵模型的极大似然估计。这样最大熵模型的学习问题就转换成了具体求解对数似然函数极大化或对偶函数极大化问题。
最大熵模型和逻辑斯蒂回归模型有类似的形式，它们又称为对数线性函数。模型学习就是在给定的训练数据下对模型进行极大似然估计和正则化的极大似然估计。

3 模型学习的优化算法

3.1 改进的迭代尺度

3.2 拟牛顿法