统计学习方法笔记（李航）———第六章（逻辑斯谛回归）

前言：

《统计学习方法》虽然分别对两者作了介绍，但没有深入讨论它们之间的联系。本文准备从最大熵模型出发，推导出逻辑斯谛回归模型，并解释两者的联系与区别。

本文主要从以下几个方面进行描述：

• 最大熵原理的数学解释
• 如何理解条件分布的极大似然函数
• 将最大熵模型转化为逻辑斯谛模型

一、从最大熵模型到逻辑斯谛回归

（一）最大熵模型

最大熵原理

我们知道（参考第5章）信息熵用于衡量一个随机变量的“不确定性”，熵越大，表示随机变量的不确定性越高。也证明了，当随机变量为均匀分布的时候，它的熵最大。

“最大熵原理”的意思是，当我们预测一个随机变量的取值的时候，最好假设它均匀分布，保留全部不确定性，此时预测的风险最小。举个例子：如果投掷一颗骰子，让你预测各面出现的概率。在没有任何额外信息的情况下，我们会认为骰子是均匀的，各面出现的概率为1/6。从直觉上说，这是最稳妥的策略，不遗漏任何一种可能性，但如何从数学上证明这是最优策略呢？

让我们来把模型简化一下，假设投郑一枚硬币，只有正反面两种结果，其中正面的概率为 $p\in [0,1],$ 若 $p$ 的预测值为 $\hat{p},\hat{p}$ 应该如何取值呢?

直觉告诉我们应该取0.5，假设硬币是均匀的。为什么?

如果以真实值与预测值的“均方误差（MSE）”作为风险函数，当 $p$ 在 [0,1] 的范围内取值时，最 优策略应该使得“均方误差”的数学期望最小化：

函数的期望值 $E(g(X))={\int }_{-\infty }^{\infty }g(x)p(x)dx$

假设 $\hat{p}$ 在[0,1]范围内均匀分布，则 $\hat{p}$ 的概率密度函数为 $p(x)=1$

$MSE(\hat{p})=E(p-\hat{p}{)}^2={\int }_0^1\left[(p-\hat{p}{)}^2\cdot 1\right]dp$

$\underset{\hat{p}}{\mathrm{argmin}}{\int }_0^1(p-\hat{p}{)}^{2}dp$

$g(\hat{p})={\int }_0^1(p-\hat{p}{)}^{2}dp$
$={\left[\frac{p^3}{3}-2\hat{p}\frac{p^2}{2}+{\hat{p}}^{2}p\right]}_1^0$
$={\hat{p}}^2-\hat{p}+\frac{1}{3}$

显然， $\hat{p}=0.5$ 时，MSE 取得最小值，即假设“硬币两面的概率相等”具有最小风险。推广至股 子，可以证明股子“任意两面出现的概率相等”具有最小风险，即每一面概率为1/6。

2. 最大嫡模型

最大嫡模型是一个概率模型，目的是寻找符合要求的条件分布P(Y|X)。在定义最大嫡模型之前，需 要引入下列概念：

联合分布的经验分布： $\tilde{P}(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{N}$

边缘分布的经验分布： $\tilde{P}(X=x)=\frac{\nu (X=x)}{N}$

其中 $N$ 为训练集样本数, $\nu (X=x,Y=y)$ 表示样本 $(x,y)$ 在训练集中出现的次数。

特征函数： $f(x,y)=\{\begin{array}{l}1,x\text{ 与 }y\text{ 满足某一事实 }\\ 0,\text{ 否则 }\end{array}$

此特征函数具有普遍性，因此得到“最大嫡模型”的一般形式。如果替换为某种特殊形式，可以得 到“逻辑斯締模型”。

特征函数 $f$ 关于经验分布 $\tilde{P}(X,Y)$ 的期望值：

$E_{\tilde{P}}(f)={\sum }_{x,y}f(x,y)\tilde{P}(x,y)$

特征函数 $f$ 关于联合分布 $P(X,Y)=\tilde{P}(X)P(Y\mid X)$ 的期望值：

$$E_P(f)=\sum _{x,y}f(x,y)\tilde{P}(x)P(y\mid x)$$

我们假设训练集对于模型的学习是有效的，使得 $E_P(f)=E_{\bar{P}}(f),$ 此时特征函数 $f_i(x,y)$ 称为模 型的约束条件。

最大嫡模型：假设满足所有约束条件的模型集合为

C ≡ { P ∈ P ∣ E P ( f i ) = E P ~ ( f i ) , i = 1 , 2 , 3 , … , n } \mathcal{C} \equiv\left\{P \in \mathcal{P} \mid E_{P}\left(f_{i}\right)=E_{\tilde{P}}\left(f_{i}\right), i=1,2,3, \ldots, n\right\} C≡{P∈P∣EP​(fi​)=EP~​(fi​),i=1,2,3,…,n}

定义在条件概率分布 $P(Y\mid X)$ 上的条件嫡为
$$\begin{array}{rl}H(P)=H(Y\mid X)& =-\sum _{x\in \mathcal{X}}P(x)\sum _{y\in \mathcal{Y}}P(y\mid x)\log P(y\mid x)\\ & =-\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)\end{array}$$

此处 $P$ 不是普通的随机变量，而是条件概率分布 $P(Y\mid X),$ 因此P的嫡相当于Y的条件嫡 (且log 以e为底）。

满足所有约束条件 $\mathcal{C}$ 的模型 $P(Y\mid X)$ 里面，使得条件嫡 $H(P)$ 最大的模型，称为“最大嫡模 型”。

最大嫡模型的学习可以分两步：

步骤一：转化为最优化问题

对于给定的训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } , T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{N}, y_{N}\right)\right\}, T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}, 特征函数为 $f_i(x,y),i=1,2,3,\dots ,n$

最大商模型的学习等价于以下最优化问题：
$$\begin{array}{rl}\underset{P\in \mathcal{C}}{\max }H(P)=& -\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)\\ \text{ s.t. }{E}_P\left(f_i\right)& =E_{\tilde{P}}\left(f_i\right),i=1,2,3,\dots ,n\\ & \sum _{y}P(y\mid x)=1\end{array}$$

一般需进一步转化为求最小值问题：
$$\underset{P\in \mathcal{C}}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)$$

$$\begin{array}{l}\text{s.t. }{E}_P\left(f_i\right)-E_{\tilde{P}}\left(f_i\right)=0,i=1,2,3,\dots ,n\\ {\sum }_{y}P(y\mid x)=1\end{array}$$

求条件极值，一般采用拉格朗日乘数法，定义拉格朗日函数 $L(P,w):$
$$L(P,w)=\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)+w_0\left(1-\sum _{y}P(y\mid x)\right)$$

$$+\sum _{i=1}^n{w}_i\left(\sum _{x,y}f(x,y)\tilde{P}(x,y)-\sum _{x,y}f(x,y)\tilde{P}(x)P(y\mid x)\right)$$

接下来是关于“拉格朗日对偶性”的讨论，后面专门讨论这个问题，此处不再深入展开 了。简单来说，把 P 和 $\mathrm{w}$ 作为变量，求拉格朗日函数的极值：
$$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y\mid x)}& =\sum _{x,y}\tilde{P}(x)(\log P(y\mid x)+1)-\sum _y{w}_0-\sum _{x,y}\left(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x)\left(\log P(y\mid x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =0\end{array}$$

由于 $\tilde{P}(x)>0,$ 因此有 $\log P(y\mid x)+1-w_0-{\sum }_{i=1}^n{w}_i{f}_i(x,y)=0,$ 整理得:
$$\begin{array}{rl}P(y\mid x)=\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1\right)& =\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{\exp \left(1-w_0\right)}\\ & =\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{Z_w(x)}\end{array}$$

根据约束条件 ${\sum }_{y}P(y\mid x)=1,$ 上式对y求和得到
$$\begin{array}{l}{Z}_w(x)={\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)\\ P_w(y\mid x)=\frac{1}{Z_w(x)}\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)\end{array}$$

$Z_w(x)={\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)$

$P_w(y\mid x)=\frac{1}{Z_w(x)}\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)$

注意：经此变换消去了拉格朗日乘子 $w_0,$ 剩下 $w_1,w_2,\dots ,w_n$

步骤二：求 w 的值

此处可以有两种方法，一是直接求 $L\left(P_w,w\right)$ 的极大值，确定参数 $w$

在确定 $P_w(y\mid x)$ 后，再通过 $\frac{\partial L\left(P_w,w\right)}{\partial w}=0$ 求 $w$ 的值，得到 $w^{\ast }$ 。

二是通过“极大似然法”得到对数似然函数。由于书中的叙述较为精简，这里补充一下如何得到这 个似然函数：

首先看“单变量”的似然函数：

$L\left(X=x_1,X=x_2,\dots ,X=x_N;\theta \right)={\prod }_{i=1}^{N}P\left(X=x_i;\theta \right)$

设N为样本数， x j ∈ { a 1 , a 2 , … , a K } , x_{j} \in\left\{a_{1}, a_{2}, \ldots, a_{K}\right\}, xj​∈{a1​,a2​,…,aK​}, 即 $\times$ 有 $\mathrm{K}$ 种可能取值。

$$L(x;\theta )=P{\left(X=a_1;\theta \right)}^{n_1}P{\left(X=a_2;\theta \right)}^{n_2}\dots P{\left(X=a_K;\theta \right)}^{n_K}$$

$n_1,n_2,\dots ,n_K$ 是取值为 $a_j$ 的样本的个数，可以用 $\nu \left(X=a_j\right)$ 表示。

所以, $L(x;\theta )={\prod }_{j=1}^{K}P{\left(X=a_j;\theta \right)}^{\nu \left(X=a_j\right)}$

接下来看书中的情况，求 $P(Y\mid X)$ 的似然函数，也就是“多变量”条件分布的似然函数：

$$\begin{array}{rl}L(P)& =P{\left(Y=y_1\mid X=x_1\right)}^{\nu \left(x_1,y_1\right)}P{\left(Y=y_2\mid X=x_2\right)}^{\nu \left(x_2,y_2\right)}\dots P{\left(Y=y_K\mid X=x_K\right)}^{\nu \left(x_K,y_K\right)}\\ & =\prod _{x,y}P(y\mid x{)}^{\nu (x,y)}\end{array}$$

如果对L§ 开N次方，得到 $L^{\ast }(P)={\prod }_{x,y}P(y\mid x{)}^{\frac{\nu (x,y)}{N}}={\prod }_{x,y}P(y\mid x{)}^{\tilde{P}(x,y)},$ 对求极值无影响，于是得到对数似然函数：
$$L_{\tilde{P}}\left(P_w\right)=\log \prod _{x,y}P(y\mid x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P(y\mid x)$$

把“步骤一”得到的 $\mathrm{P}(\mathrm{y}\mid \mathrm{x})$ 代入上式，得到

$$\begin{array}{rl}{L}_{\tilde{P}}\left(P_w\right)& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\\ & =L\left(P_w,w\right)\end{array}$$

最后的结论证明，最大嫡模型的极大似然估计等价于对偶函数极大化。

当参数 w 确定以后，最大嫡模型等于：

$Z_w(x)={\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)$

$P_w(y\mid x)=\frac{1}{Z_w(x)}\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)$

这里的 x ∈ R n , y ∈ { 1 , 2 , … , K } , w ∈ R n x \in R^{n}, \quad y \in\{1,2, \ldots, K\}, \quad w \in R^{n} x∈Rn,y∈{1,2,…,K},w∈Rn 为权值向量, $f_i(x,y),i=1,2,3,\dots ,n$ 为特征函数。

（二）从最大嫡模型到逻辑斯締回归

之前说过，逻辑斯締回归是最大嫡模型的一个特例，而且关键在于特征函数的设置：

(1) 二分类问题

假设类别 y ∈ { 0 , 1 } , y \in\{0,1\}, y∈{0,1}, 且 $x\in R^n,$ 它的 $\mathrm{n}$ 个特征函数为

$f_i(x,y)=\{\begin{array}{l}{x}_i,\text{ 当 }y=1\\ 0,\text{ 当 }y=0\end{array}$ 注意：作为二值函数，它的非零值不一定取1，而是 $x_i$ 。

那么， $Z_w(x)={\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)=\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y=1)\right)+\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y=0)\right)$

$\begin{array}{rl}& =\exp \left(\sum _{i=1}^n{w}_i{x}_i\right)+1\\ P_w(y=1\mid x)& =\frac{\exp \left({\sum }_{i=1}^n{w}_i{x}_i\right)}{\exp \left({\sum }_{i=1}^n{w}_i{x}_i\right)+1}\\ P_w(y=0\mid x)& =\frac{1}{\exp \left({\sum }_{i=1}^n{w}_i{x}_i\right)+1}\end{array}$

（2）多分类问题

这里需要对符号进行一定的修改

设类别 y ∈ { 1 , 2 , … , K } y \in\{1,2, \ldots, K\} y∈{1,2,…,K} ，对于不同类别，有不同的参数向量 $w_1,w_2,\dots ,w_K,$ 注意 $w_k={\left(w_k^{(1)},w_k^{(2)},\dots ,w_k^{(n)}\right)}^T,$ 即每个参数向量有 $\mathrm{n}$ 个分量。相应地，样本 $\mathrm{x}$ 有 $\mathrm{n}$ 个特征$x={\left(x^{(1)},x^{(2)},\dots ,x^{(n)}\right)}^T$

$f_i(x,y)=\{\begin{array}{l}{x}^{(i)},\text{ 当 }y=k\\ 0,\text{ 当 }y=0\end{array}$
那么，
$\begin{array}{rl}{Z}_w(x)& =\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =\sum _{k=1}^K\exp \left(\sum _{i=1}^n{w}_k^{(i)}{x}^{(i)}\right)\\ P(Y=k\mid x)& =\frac{\exp \left({\sum }_{i=1}^n{w}_k^{(i)}{x}^{(i)}\right)}{{\sum }_{k=1}^K\exp \left({\sum }_{i=1}^n{w}_k^{(i)}{x}^{(i)}\right)}\end{array}$

这实际上是 softmax 分类器的形式。

下面从从广义线性模型的角度来看逻辑斯谛回归

二、指数族分布

什么是指数族分布呢？它是一个分布家族，包括：高斯分布、伯努利分布、二项分布、泊松分布等常见分布。

（1）一般形式

指数族分布具有以下一般形式：（此处使用CS229的符号规则）
$$p(y;\eta )=b(y)\exp \left({\eta }^{T}T(y)-a(\eta )\right)$$

其中： $y$ 是分布对应的随机变量， $\eta$ 称为“自然参数”，一般为向量。 $T(y)$ 是 y的充分统计 量，就是足以对表随机变量 y 主要特征的值，例如：样本均值、样本方差等。

${\eta }^{T}T(y)$ 一般表示两个向量的内积， $\eta$ 与 $T(y)$ 有相同的维度。如果 $\eta$ 为标量，则 $T(y)$ 也为标 量, ${\eta }^{T}T(y)$ 表示两个数的乘积。

$a(\eta )$ 称为 $\log$ 配分函数，它主要起到归一化的作用，使得密度函数积分结果为1。

(2) 高斯分布

为了简化计算，假设高斯分布的方差为1：
$$\begin{array}{rl}p(y;\mu )& =\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}(y-\mu {)}^2\right)\\ & =\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}{y}^2\right)\cdot \left(\mu y-\frac{1}{2}{\mu }^2\right)\end{array}$$

它的指数族形式如下：

$$\begin{array}{rl}\eta & =\mu \\ T(y)& =y\\ a(\eta )& ={\mu }^2/2={\eta }^2/2\\ b(y)& =(1/\sqrt{2\pi })\exp \left(-y^2/2\right)\end{array}$$

(3) 伯努利分布
$$\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp (y\log \varphi +(1-y)\log (1-\varphi ))\\ & =\exp \left(y\log \frac{\varphi }{1-\varphi }+\log (1-\varphi )\right)\end{array}$$

它的指数族形式如下：
$$\eta =\log \frac{\varphi }{1-\varphi },e^{\eta }=\frac{\varphi }{1-\varphi },1+e^{\eta }=\frac{1}{1-\varphi }$$

$$\begin{array}{l}T(y)=y\\ a(\eta )=-\log (1-\varphi )=\log \left(1+e^{\eta }\right)\\ b(y)=1\end{array}$$

三、广义线性模型

广义线性模型用来解决“给定 $x$ 预测 $y$ " 的问题，它基于以下三个假设：

$y\mid x;\theta \sim$ ExponentialFamily$(\eta )$

$h_{\theta }(x)=E[T(y)\mid x],$ 经常假设 $T(y)=y$

$\eta ={\theta }^{T}x$

假设一： 认为 $\mathrm{y}$ 是服从指数族分布的。由于广义线性模型既可用于“回归”，也可用于“分 类”，因此不同分布将生成不同模型。回归对应连续型分布，分类对应离散型分布。

假设二： $h_{\theta }(x)$ 就是需要“学习”的模型，它等于 $E[y\mid x]$ 。为什么? $y\mid x$ 就是给定数据x的条件 下，预测 $\mathrm{y}$ 的值，它的数学期望不就是预测模型本身吗?

假设三：“自然参数”是样本x的线性组合，因此它是一个“线性模型”。

见证奇迹的时刻，看如何通过三个假设，得到不同的线性模型：

(1) 线性回归

线性回归对应高斯分布： $y\mid x\sim N(\mu ,1)$ 。此假设的合理性在于，如果 $\mathrm{y}=\mathrm{h}(\mathrm{x})$ 为线性模型，实际 值与预测值的误差是由随机扰动引起的，这部分误差是服从高斯分布的。

根据假设二，线性模型有如下形式：

$$\begin{array}{rl}& h_{\theta }(x)=E[y\mid x]\\ & \begin{array}{lll}=\mu & \dots & \text{ 高斯分布的数学期望 }\end{array}\\ & =\eta \dots \text{ 高斯分布的指数族形式 }\\ & ={\theta }^{T}x\dots \text{ 假设三 }\end{array}$$

线性回归模型的输出： $y=h_{\theta }(x)$

(2) Logistic Regression

逻辑斯締回归对应伯努利分布： $y\mid x\sim$ Bernoulli$(\varphi ),$ 逻辑斯締回归的输出，并不是分类结果, 而是一个概率 $\mathrm{p}(\mathrm{y}=1\mid \mathrm{x}{)}_{\circ }$ 当此概率大于0.5时 $,\mathrm{y}=1,$ 否则 $\mathrm{y}=0$ 。因此它等于伯努利分布的概率参数。

$$\begin{array}{rl}& h_{\theta }(x)=E[y\mid x]\\ & \begin{array}{ll}=\varphi \dots & \text{ 伯努利分布的数学期望 }\end{array}\\ & =\frac{1}{1+e^{-\eta }}\dots \text{ 伯努利分布的指数族形式 }\\ & =\frac{1}{1+e^{-{\theta }^{T}x}}\cdots \text{ 假设三 }\end{array}$$

逻辑斯締回归的分类结果： $y=\underset{y}{\mathrm{argmax}}P(Y=y\mid x)=\underset{y}{\mathrm{argmax}}{h}_{\theta }(x)$

(3) Softmax Regression

Softmax 与 多项逻辑斯締回归是等价的，下面将证明这一点，它被用于解决多分类问题。由于涉及多分类，不能简单地假设 $T(y)=y,$ 此时 $\eta$ 与 $T(y)$ 都是向量。下面将展示这个较为复杂的推 导过程：

设 y ∈ { 1 , 2 , … , k } y \in\{1,2, \ldots, k\} y∈{1,2,…,k}

用分布参数 ${\varphi }_i$ 表示 $\mathrm{y}$ 属于第 i 分类的概率：

当 $i=1,2,\dots ,k-1$ 时, ${\varphi }_i=p(y=i;\varphi )$

当 $i=k$ 时 $,{\varphi }_k=p(y=k;\varphi )=1-{\sum }_{i=1}^{k-1}{\varphi }_i$

由此可见，上述 $\mathrm{k}$ 个参数 ${\varphi }_i$ 并非完全独立的，它们的和等于1。

令 $T(y)\in R^{k-1}($ 一个 $\mathrm{k}-1$ 维的向量) $：$

$T(1)=\left(\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right),T(2)=\left(\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right),\dots ,T(k-1)=\left(\begin{array}{c}0\\ 0\\ ⋮\\ 1\end{array}\right),T(k)=\left(\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right)$

其中 $T(y{)}_i$ 表示向量 $T(y)$ 的 第 i 个分量。

接下来是关键一步，由于 T ( y ) i = 1 { y = i } = { 1 , y = i 0 , y ≠ i , T(y)_{i}=1\{y=i\}=\left\{\begin{array}{l}1, y=i \\ 0, y \neq i\end{array},\right. T(y)i​=1{y=i}={1,y=i0,y​=i​, 可用“示性函数”表示，

E [ T ( y ) i ] = E [ 1 { y = i } ] = 1 ⋅ p ( y = i ) + 0 ⋅ p ( y ≠ i ) = p ( y = i ) = ϕ i \begin{aligned} E\left[T(y)_{i}\right]=E[1\{y=i\}] &=1 \cdot p(y=i)+0 \cdot p(y \neq i) \\ &=p(y=i) \\ &=\phi_{i} \end{aligned} E[T(y)i​]=E[1{y=i}]​=1⋅p(y=i)+0⋅p(y​=i)=p(y=i)=ϕi​​

由此得到 softmax 的概率质量函数：
p ( y ; ϕ ) = p ( y = i ; ϕ ) = p ( y = 1 ) 1 { y = 1 } p ( y = 2 ) 1 { y = 2 } … p ( y = k ) 1 { y = k } = ϕ 1 1 { y = 1 } ϕ 2 1 { y = 2 } … ϕ k 1 − ∑ i = 1 k − 1 1 { y = i } = ϕ 1 T ( y ) 1 ϕ 2 T ( y ) 2 … ϕ k 1 − ∑ i = 1 k − 1 T ( y ) i = exp ⁡ ( T ( y ) 1 log ⁡ ( ϕ 1 ) + T ( y ) 2 log ⁡ ( ϕ 2 ) + … + ( 1 − ∑ i = 1 k − 1 T ( y ) i ) log ⁡ ϕ k ) \begin{aligned} p(y ; \phi)=p(y=i ; \phi) &=p(y=1)^{1\{y=1\}} p(y=2)^{1\{y=2\}} \ldots p(y=k)^{1\{y=k\}} \\ &=\phi_{1}^{1\{y=1\}} \phi_{2}^{1\{y=2\}} \ldots \phi_{k}^{1-\sum_{i=1}^{k-1} 1\{y=i\}} \\ &=\phi_{1}^{T(y)_{1}} \phi_{2}^{T(y)_{2}} \ldots \phi_{k}^{1-\sum_{i=1}^{k-1} T(y)_{i}} \\ &=\exp \left(T(y)_{1} \log \left(\phi_{1}\right)+T(y)_{2} \log \left(\phi_{2}\right)+\ldots+\left(1-\sum_{i=1}^{k-1} T(y)_{i}\right) \log \phi_{k}\right) \end{aligned} p(y;ϕ)=p(y=i;ϕ)​=p(y=1)1{y=1}p(y=2)1{y=2}…p(y=k)1{y=k}=ϕ11{y=1}​ϕ21{y=2}​…ϕk1−∑i=1k−1​1{y=i}​=ϕ1T(y)1​​ϕ2T(y)2​​…ϕk1−∑i=1k−1​T(y)i​​=exp(T(y)1​log(ϕ1​)+T(y)2​log(ϕ2​)+…+(1−i=1∑k−1​T(y)i​)logϕk​)​

如果把 $\left(1-{\sum }_{i=1}^{k-1}T(y{)}_i\right)\log {\varphi }_k$ 展开，分别合并到前 $\mathrm{k}-1$ 项里面，可得

$$\begin{array}{c}p(y;\varphi )=\exp \left(T(y{)}_1\log \left(\frac{{\varphi }_1}{{\varphi }_k}\right)+T(y{)}_2\log \left(\frac{{\varphi }_2}{{\varphi }_k}\right)+\dots +T(y{)}_{k-1}\log \left(\frac{{\varphi }_{k-1}}{{\varphi }_k}\right)+\log \left({\varphi }_k\right)\right)\\ =b(y)\exp \left({\eta }^{T}T(y)-a(\eta )\right)\\ \eta =\left(\begin{array}{c}\log \frac{{\varphi }_1}{{\varphi }_k}\\ \log \frac{{\varphi }_2}{{\varphi }_k}\\ ⋮\\ \log \frac{{\varphi }_{k-1}}{{\varphi }_k}\end{array}\right),T(y)=\left(\begin{array}{c}T(y{)}_1\\ T(y{)}_2\\ ⋮\\ T(y{)}_{k-1}\end{array}\right),a(\eta )=-\log \left({\varphi }_k\right),b(y)=1\end{array}$$

以上就是 softmax 的指数族形式。

最后，寻找“自然参数” $\eta$ 与 “分布参数” $\varphi$ 的关系：

由于 ${\eta }_i=\log \frac{{\varphi }_i}{{\varphi }_k},$ 那么 $e^{{\eta }_i}=\frac{{\varphi }_i}{{\varphi }_k},$ 即 ${\varphi }_k{e}^{{\eta }_i}={\varphi }_i$

把上式左右两边累加起来，得到：
$${\varphi }_k\sum _{i=1}^k{e}^{{\eta }_i}=\sum _{i=1}^k{\varphi }_i=1,\text{ 即 }{\varphi }_k=\frac{1}{{\sum }_{i=1}^k{e}^{{\eta }_i}}$$

将“即”字后面的两个式子整理一下，得到： ${\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}\dots$ 式

但请注意： $\eta$ 只有 $\mathrm{k}-1$ 个分量，如果令 ${\eta }_k=0,$ 使得

${\varphi }_k=\frac{e^{{\eta }_k}}{{\sum }_{i=1}^k{e}^{{\eta }_i}}=\frac{e^{{\eta }_k}}{{\sum }_{i=1}^{k-1}{e}^{{\eta }_i}+e^{{\eta }_k}}=\frac{1}{{\sum }_{i=1}^{k-1}{e}^{{\eta }_i}+1}\dots$ 式

刚好满足 ${\sum }_{i=1}^k{\varphi }_i=1$ 。

根据假设三： ${\eta }_i={\theta }_i^{T}x,$ 其中 ${\theta }_k=0,$ 将其代入式 (1)$、$ 式 (2) 得到
当 $i=1,2,\dots ,k-1$ 时 $,{\varphi }_i=p(y=i;\varphi )=\frac{e_i^{{\theta }_{i}x}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}\dots$ 式 (3)

当 $i=k$ 时, ${\varphi }_k=p(y=k;\varphi )=\frac{1}{{\sum }_{i=1}^{k-1}{e}^{{\theta }_i^{T}x}+1}\dots$ 式

上述式 (3) 、式 (4) 就是 Softmax Regression 模型，与多项逻辑斯締回归模型一样。
${\varphi }_i,i=1,\dots ,k$ 中概率最大的那一项，决定了 $\mathrm{y}$ 的取值。

四、线性从何而来

如果选择一个公式代表“逻辑斯締回归”，该选择哪个公式呢？我认为是：

$\log \frac{P(Y=1\mid X)}{P(Y=0\mid X)}={\theta }^{T}x$ 或者 $\log \frac{p}{1-p}={\theta }^{T}x,$

其中 $p=P(Y=1\mid X)$

也就是“对数几率”等于 $\mathrm{x}$ 的线性函数。

从这个公式出发，可以推导出逻辑斯締回归的全部公式。

如果把右侧的线性模型记作 s，上式可以表示为

$\log \frac{p}{1-p}=s$ 即 $p=\frac{1}{1+e^{-s}},$ 由此可见 $\mathrm{p}$ 是 $\mathrm{s}$ 的 sigmoid 函数。

sigmoid 的作用是将 $s\in (-\infty ,\infty )$ 映射至 $p\in (0,1)$ ，于是分类结果 s：正数（代表正类），负 数（代表负类）被转换为一个处于0到1之间的概率值 ${\mathrm{p}}_{\circ }$

回顾感知机模型（线性模型），通过模型的符号标记分类结果，逻辑斯締回归只是进一步把符号转 换为概率值。如果把线性模型替换为其他非线性模型，只要用正数、负数表示不同分类，将其代入 sigmoid 函数，仍可得到不同的概率输出。

最后一个问题：为什么选择线性模型 ${\theta }^{T}x$ 呢? 或者说为什么 $\log \frac{P(Y=1\mid X)}{P(Y=0\mid X)}={\theta }^{T}x$ ?

仅仅是因为线性模型最简单吗？此处试图从另一个角度看待这个问题。根据贝叶斯定理，

$\log \frac{P(Y=1\mid X)}{P(Y=0\mid X)}=\log \frac{\frac{P(X\mid Y=1)}{P(X)}}{\frac{P(X\mid Y=0)}{P(X)}}=\log \frac{P(X\mid Y=1)}{P(X\mid Y=0)}+\log \frac{P(Y=1)}{P(Y=0)}$

其中 $\log \frac{P(Y=1)}{P(Y=0)}$ 是由训练集样本决定的常数（设为 ${\theta }_0$ ) , $P(X\mid Y)$ 假设服从高斯分布，且在 Y的不同取值情况下方差相同（或者简单设为1），但均值不同。于是有

$\log \frac{\exp \left(-{\left(x-{\mu }_1\right)}^2\right)}{\exp \left(-{\left(x-{\mu }_2\right)}^2\right)}+{\theta }_0=\left({\mu }_1-{\mu }_2\right)x+\left(-{\mu }_1^2+{\mu }_2^2\right)+{\theta }_0$

上式等号右侧为 $\mathrm{x}$ 与 参数 $\theta$ 的线性模型。

在更为一般的情况下，如果将 $P(X\mid Y)$ 换成其他“指数族分布”，结果仍然是线性模型。

更多请阅读：Logistic Regression 模型简介

习题

第6章Logistic回归与最大熵模型

code实践（一定阅读）

逻辑斯蒂回归
最大熵

参考自：
mygame182
机器学习白板推导系列