细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（六）

第六节：逻辑斯蒂回归& 最大熵模型的血缘关系

最大熵原理

学习概率模型时，在所有可能的，满足约束条件的模型中，熵最大的模型最好。

概率分布 P 的熵 $=H(P)=-\sum _{x}P(x)logP(x)$

熵满足这个不等式：$0\le H(P)\le log|X|$.  $|X|$ 代表随机变量 X 所有可能的取值的个数。当且仅当 X 是均匀分布的时候，右边的等号成立，此时熵最大。直观地讲，最大熵原理认为要选择的概率模型首先必须要满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是 “等可能” 的。“等可能” 不容易操作，而熵则是一个可优化的数值。于是最大熵原理通过熵的最大化来表示 “等可能性”。

最大熵模型的定义

训练数据集 T = { ( x 1 ⃗ , y 1 ) ,   ( x 2 ⃗ , y 2 ) ,   . . . ,   } T=\{(\vec{x_1}, y_1),\ (\vec{x_2},y_2),\ ...,\ \} T={ (x1​ ​,y1​), (x2​ ​,y2​), ..., }

用特征函数 $f(\vec{x},y)$ 描述 $\vec{x}$ 和 $y$ 之间的某一事实：

$$f(\vec{x},y)=\{\begin{array}{l}1if\vec{x}\&y满足某一事实\\ 0otherwise\end{array}$$

定义在训练数据集上的经验分布：

$$\{\begin{array}{l}\hat{P}(\vec{X}=\vec{x},Y=y)=\frac{Count(\vec{X}=\vec{x},Y=y)}{N}\leftarrow 经验联合分布\\ \hat{P}(\vec{X}=\vec{x})=\frac{Count(\vec{X}=\vec{x})}{N}\leftarrow 经验边缘分布\end{array}$$

假设分类模型是对条件概率分布 $P(Y|\vec{X})$ 建模。

定义 $\{\begin{array}{l}f(\vec{x},y)在经验联合分布上的期望：E_{\hat{P}}(f)=\sum _{\vec{x},y}\hat{P}(\vec{x},y)f(\vec{x},y)\\ \\ f(\vec{x},y)关于模型P(Y|\vec{X})与经验边缘分布\hat{P}(\vec{X})的期望：E_P(f)=\sum _{\vec{x},y}P(y|\vec{x})\hat{P}(\vec{x})f(\vec{x},y)\end{array}$

约束条件： $E_{\hat{P}}(f)=E_P(f)$ （这两个期望相等表明模型可以从数据集获得有关真实分布充足的信息）

如果有 n 个事实，那么将构造 n 个特征函数，就要有 n 个约束条件。

假设满足所有约束条件的集合为： C ≡ { P ∈   P   ∣   E P ^ ( f i ) = E P ( f i ) ,    i = 1 , 2 , . . . , n } C\equiv\{P\in\ \mathcal{P}\ |\ E_{\hat P}(f_i)=E_{P}(f_i),\ \ i=1,2,...,n\} C≡{ P∈ P ∣ EP^​(fi​)=EP​(fi​),  i=1,2,...,n}

定义在条件概率分布上的条件熵为： $H(P)=-\sum _{\vec{x},y}\hat{P}(\vec{x})P(y|\vec{x})logP(y|\vec{x})$

$\Rightarrow$ 最大熵模型就是模型集合 $C$ 中 $H(P)$ 最大的模型

最大熵模型的学习

最大熵模型的学习等价于约束最优化问题：$\underset{P\in C}{\max }H(P)\iff \underset{P\in C}{\min }H(P)$

约束：$E_{\hat{P}}(f_i)=E_P(f_i),i=1,2,...,n$，$\sum _{y}P(y|\vec{x})=1$

将约束最优化问题转化为无约束最优化的对偶问题

引入拉格朗日乘子 $w_0,w_1,...,w_n$，定义拉格朗日函数 $\mathcal{L}(P,\vec{w})$ (听起来神秘兮兮的~ 别走，先往下看着)

$\mathcal{L}(P,\vec{w})\equiv -H(P)+w_0[1-\sum _{y}P(y|\vec{x})]+\sum _{i=1}^n{w}_i[E_{\hat{P}}(f_i)-E_P(f_i)]$

$={\sum }_{\vec{x},y}\hat{P}(\vec{x})P(y|\vec{x})logP(y|\vec{x})+w_0[1-{\sum }_{y}P(y|\vec{x})]+{\sum }_{i=1}^n{w}_i[{\sum }_{\vec{x},y}\hat{P}(\vec{x},y)f_i(\vec{x},y)-{\sum }_{\vec{x},y}P(y|\vec{x})\hat{P}(\vec{x})f_i(\vec{x},y)]$

原始最优化问题： $\underset{P\in C}{\min }\vec{w}$