[cs229] 广义线性模型 Generalized Linear Models

Generalized Linear Models

The exponential family

  指数家族分布形式如下：
$$p(y;\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta ))$$
  大部分时候，$T(y)=y$ 。$\eta$ 为自然参数 (natural parameter)， $a(\eta )$ 为对数分割函数 (log partition function)，$b(y)$ 为基础测量 (base measure)。固定 $T、a、b$ 后，通过调整 $\eta$ 来调整分布，很多分布都可以转化成指数家族分布的形式。

Bernoulli distribution

  下面推导将伯努利分布转换为指数家族分布的形式。假设均值为 $\varphi$ ， y ∈ { 0 ,   1 } y \in \{0,\ 1\} y∈{0, 1} ，则：
$$\begin{array}{rl}p(y=1;\varphi )& =\varphi \\ p(y=0;\varphi )& =1-\varphi \end{array}$$
  所以可以推出：
$$p(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y}$$
  所以有：
$$\begin{array}{rl}p(y;\varphi )& =\exp (\ln ({\varphi }^y(1-\varphi {)}^{1-y}))\\ & =\exp (y\ln \varphi +(1-y)\ln (1-\varphi ))\\ & =\exp (y\ln \frac{\varphi }{1-\varphi }+\ln (1-\varphi ))\end{array}$$
  因为 $\ln \frac{\varphi }{1-\varphi }$ 是一个常数，所以令 $\eta =\ln \frac{\varphi }{1-\varphi }$ 有：
$$\begin{array}{rl}{e}^{\eta }& =\frac{\varphi }{1-\varphi }\\ e^{\eta }& =(1+e^{\eta })\varphi \\ \varphi & =\frac{e^{\eta }}{1+e^{\eta }}\\ & =\frac{1}{1+e^{-\eta }}\end{array}$$
  则 $p(y;\varphi )$ 可以转换为：
$$\begin{array}{rl}p(y;\varphi )& =\exp ({\eta }^{T}y+\ln \frac{1}{1+e^{\eta }})\end{array}$$
  至此将该式转化为了指数家族分布的形式，其中：
$$\begin{array}{rl}b(y)& =1\\ T(y)& =y\\ a(\eta )& =-\ln \frac{1}{1+e^{\eta }}\\ & =\ln (1+e^{\eta })\end{array}$$

Gaussian distribution

  回顾 Linear Regression，当时用高斯分布推导的时候，高斯分布的方差 ${\sigma }^2$ 并不会影响 $\mathbf{\theta }$ 的结果，所以在这里，不妨将其设为 $1$ 。所以，高斯分布如下：
$$\begin{array}{rl}p(y;\mu )& =\frac{1}{\sqrt{2\pi }}\exp (-\frac{(y-\mu {)}^2}{2})\\ & =\frac{1}{\sqrt{2\pi }}\exp (-\frac{y^2}{2})\exp (\mu y-\frac{1}{2}{\mu }^2)\end{array}$$
  至此，我们将高斯分布转换为了指数家族分布的形式，其中：
$$\begin{array}{rl}b(y)& =\frac{1}{\sqrt{2\pi }}\exp (-\frac{y^2}{2})\\ T(y)& =y\\ \eta & =\mu \\ a(\eta )& =\frac{1}{2}{\mu }^2\\ & =\frac{1}{2}{\eta }^2\end{array}$$
  指数家族分布是广义线性模型，很多分布都可以转化为这种形式

构建 GLMs

  首先需要进行三个假设：

$$\begin{array}{rl}1.& y|\mathbf{x};\mathbf{\theta }\sim \text{ExponentialFamily}(\eta )\\ 2.& \text{Given x, our goal is to predict the expected value of T(y). This means}\\ & \text{we would like learned hypothesis h to satisfy h(x)=E[y∣x]}\\ 3.& \eta ={\mathbf{\theta }}^T\mathbf{x}\text{. (If η is a vector-valued, then ηi=θiTx}\end{array}$$
  从这三个假设出发，我们来推导线性回归、Logistic Regression 的模型形式。

Ordinary Least Squares(普通最小二乘法)

  在线性回归中，我们假设了 $y$ 和 $\mathbf{x}$ 是严格的线性关系加高斯分布的随机噪声的结果，所以 $y|\theta ;x\sim N(\mu ,{\sigma }^2)$ ，在前面我们推到出高斯分布可以转化为指数家族分布，由假设 2和假设3 ，我们有：
$$\begin{array}{rl}{h}_{\mathbf{\theta }}(\mathbf{x})& =E[y|\mathbf{x}]\\ & =\mu \\ & =\eta \\ & ={\mathbf{\theta }}^T\mathbf{x}\end{array}$$

Logistic Regression

  根据前面推到的结果和假设2、假设3，我们有：
$$\begin{array}{rl}{h}_{\mathbf{\theta }}(\mathbf{x})& =E[y|\mathbf{x}]\\ & =\varphi \\ & =\frac{1}{1+e^{-\eta }}\\ & =\frac{1}{1+e^{-{\mathbf{\theta }}^T\mathbf{x}}}\end{array}$$

Softmax Regression

  在分类问题中，当分类结果不是两个，而是 $k$ 个时，伯努利分布就不满足我们的需求了，这个时候我们可以假设 $y|\mathbf{x};\mathbf{\theta }$ 服从多项式分布 (Multinomial distribution) ，我们可以使用 ${\varphi }_1,{\varphi }_2,\cdots ,{\varphi }_k$ 来分别表示取到某一个值的概率。因为 ${\sum }_{i=1}^k{\varphi }_k=1$ ，所以可以令：
$${\varphi }_k=1-\sum _{i=1}^{k-1}{\varphi }_i$$
  定义如下计算，大括号中是一个逻辑表达式的结果：
1 { True } = 1 1 { False } = 0 ​ 1\{ \text{True}\} = 1\\ 1\{ \text{False}\} = 0​ 1{True}=11{False}=0​
  所以有：
p ( y ; ϕ ) = ∏ i = 1 k ϕ i 1 { y = i } \begin{aligned} p(y;\phi) = \prod_{i=1}^k\phi_i^{1\{y = i\}} \end{aligned} p(y;ϕ)=i=1∏k​ϕi1{y=i}​​
  令 $T$ 为对 $y$ 进行的一个转换，转换结果为一个 $k-1$ 行的列向量，转换规则为第 $y$ 行为 $1$ ，其余全为零，若 $y=k$ ，则每一行都为 $0$ 。

KaTeX parse error: Undefined control sequence: \ at position 267: …) \times 1} , \̲ ̲T(k) = \begin{…

  则 $p(y;\varphi )$ 可继续转化为：

p ( y ; ϕ ) = ϕ 1 1 { y = 1 } ϕ 2 1 { y = 2 } ⋯ ϕ k − 1 1 { y = k − 1 } ϕ k 1 − ∑ i = 1 k − 1 1 { y = i } = ϕ 1 ( T ( y ) ) 1 ϕ 2 ( T ( y ) ) 2 ⋯ ϕ k − 1 ( T ( y ) ) k − 1 ϕ k 1 − ∑ i = 1 k − 1 ( T ( y ) ) i = exp ⁡ ( ( T ( y ) ) 1 ln ⁡ ϕ 1 + ( T ( y ) ) 2 ln ⁡ ϕ 2 + ⋯ + ( T ( y ) ) k − 1 ln ⁡ ϕ k − 1 + ( 1 − ∑ i = 1 k − 1 ( T ( y ) ) i ) ln ⁡ ϕ k ) = exp ⁡ ( ( T ( y ) ) 1 ln ⁡ ϕ 1 ϕ k + ⋯ + ( T ( y ) ) k − 1 ln ⁡ ϕ k − 1 ϕ k + ln ⁡ ϕ k ) = b ( y ) exp ⁡ ( η T T ( y ) − a ( η ) ) \begin{aligned} p(y;\phi) &= \phi_1^{1\{y = 1\}} \phi_2^{1\{y = 2\}} \cdots\phi_{k-1}^{1\{y = k-1\}}\phi_k^{1 -\sum_{i=1}^{k-1}1\{y=i\}} \\ &= \phi_1^{(T(y))_1}\phi_2^{(T(y))_2}\cdots\phi_{k-1}^{(T(y))_{k-1}}\phi_k^{1 - \sum_{i=1}^{k-1}(T(y))_i} \\ &=\exp((T(y))_1\ln \phi_1 + (T(y))_2\ln \phi_2 +\cdots + (T(y))_{k-1}\ln \phi_{k-1} +(1-\sum_{i=1}^{k-1} (T(y))_i)\ln \phi_k ) \\ &=\exp ((T(y))_1 \ln \frac {\phi_1} {\phi_k} + \cdots + (T(y))_{k-1}\ln \frac {\phi_{k-1}} {\phi_k}+\ln \phi_k) \\ &= b(y)\exp (\eta^T T(y) - a(\eta)) \end{aligned} p(y;ϕ)​=ϕ11{y=1}​ϕ21{y=2}​⋯ϕk−11{y=k−1}​ϕk1−∑i=1k−1​1{y=i}​=ϕ1(T(y))1​​ϕ2(T(y))2​​⋯ϕk−1(T(y))k−1​​ϕk1−∑i=1k−1​(T(y))i​​=exp((T(y))1​lnϕ1​+(T(y))2​lnϕ2​+⋯+(T(y))k−1​lnϕk−1​+(1−i=1∑k−1​(T(y))i​)lnϕk​)=exp((T(y))1​lnϕk​ϕ1​​+⋯+(T(y))k−1​lnϕk​ϕk−1​​+lnϕk​)=b(y)exp(ηTT(y)−a(η))​
  所以有：
$$\begin{array}{rl}b(y)& =1\\ \eta & =\left[\begin{array}{c}\ln \frac{{\varphi }_1}{{\varphi }_k}\\ ⋮\\ \ln \frac{{\varphi }_{k-1}}{{\varphi }_k}\end{array}\right]\\ a(\eta )& =-\ln ({\varphi }_k)\end{array}$$
  所以可以得到：
$$\begin{array}{rl}{\eta }_i& =\ln \frac{{\varphi }_i}{{\varphi }_k}\\ {\varphi }_k{e}^{{\eta }_i}& ={\varphi }_i\\ {\varphi }_k\sum _{i=1}^k{e}^{{\eta }_i}& =\sum _{i=1}^k{\varphi }_i\\ & =1\\ {\varphi }_k& =\frac{1}{{\sum }_{i=1}^k{e}^{{\eta }_i}}\end{array}$$
  将 ${\varphi }_k$ 代回到 $\phi_k e^{\eta_i} = \phi_i $ 有：
$${\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}$$
  由假设 2 和假设 3 可以推出：
$$\begin{array}{rl}p(y=k|\mathbf{x};\mathbf{\theta })& ={\varphi }_i\\ & =\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}\\ & =\frac{e^{{\mathbf{\theta }}_i^T\mathbf{x}}}{{\sum }_{j=1}^k{e}^{{\mathbf{\theta }}_j^T\mathbf{x}}}\end{array}$$

$$\begin{array}{rl}{h}_{\mathbf{\theta }}(\mathbf{x})& =E[T(y)|\mathbf{x};\mathbf{\theta }]\\ & =\left[\begin{array}{c}{\varphi }_1\\ {\varphi }_2\\ ⋮\\ {\varphi }_{k-1}\end{array}\right]\\ & =\left[\begin{array}{c}\frac{\exp ({\mathbf{\theta }}_1^T\mathbf{x})}{{\sum }_{j=1}^k\exp ({\mathbf{\theta }}_j^T\mathbf{x})}\\ \frac{\exp ({\mathbf{\theta }}_2^T\mathbf{x})}{{\sum }_{j=1}^k\exp ({\mathbf{\theta }}_j^T\mathbf{x})}\\ ⋮\\ \frac{\exp ({\mathbf{\theta }}_{k-1}^T\mathbf{x})}{{\sum }_{j=1}^k\exp ({\mathbf{\theta }}_j^T\mathbf{x})}\end{array}\right]\end{array}$$

损失函数推导

  样本被采集到的概率 $L(\mathbf{\theta })$ 为：
$$L(\mathbf{\theta })=\prod _{i=1}^{m}p(y^{(i)}|{\mathbf{x}}^{(i)};\mathbf{\theta })$$
  两边取对数有：
ln ⁡ L ( θ ) = ∑ i = 1 m ln ⁡ p ( y ( i ) ∣ x ( i ) ; θ ) = ∑ i = 1 m ∑ k = 1 K 1 ⋅ { y = k } ln ⁡ ϕ k = ∑ i = 1 m ∑ k = 1 K y k ln ⁡ ϕ k \begin{aligned} \ln L(\boldsymbol \theta) &= \sum_{i=1}^m \ln p(y^{(i)}|\boldsymbol x^{(i)};\boldsymbol \theta) \\ &= \sum_{i=1}^m \sum_{k=1}^K 1 \cdot \{ y=k\} \ln \phi_k \\ &= \sum_{i=1}^m \sum_{k=1}^K y_k\ln \phi_k \end{aligned} lnL(θ)​=i=1∑m​lnp(y(i)∣x(i);θ)=i=1∑m​k=1∑K​1⋅{y=k}lnϕk​=i=1∑m​k=1∑K​yk​lnϕk​​
  由极大似然估计可以，我们的目标是使 $L$ 最大，故：
$$\mathbf{\theta }=\arg \max L(\mathbf{\theta })$$
  所以损失函数 $J(\mathbf{\theta })$ 为：
$$J(\mathbf{\theta })=-\sum _{i=1}^m\sum _{k=1}^K{y}_k\ln {\varphi }_k$$
  这也被称为交叉熵。