【学习笔记】斯坦福大学公开课（机器学习） 之广义线性模型

广义线性模型（GLM）是在指数分布族基础上形成的模型，对于指数分布族中，参数$\eta$都可以有其他对应函数来替代，从而得到指数分布族模型的扩展。为引入GLM来解决问题，我们做三个假设：
1.$y|x;\theta∼ExponentialFamily(\eta)$，即已知$x和\theta$，$y$的分布满足参数为$\eta$的指数分布族。
2.假设函数$h(x)=E[y|x]$，即假设函数等于期望（E）
3.特性参数$\eta=\theta^Tx$

最小二乘法（Ordinary Least Squares）

最小二乘法是指数分布族中一个特殊的模型，对于目标变量$y$（在GLM中也称为反应变量（response variable））是连续的，那么把条件模型定义为高斯分布，从之前的文章可以看到高斯分布作为指数分布族中的一员，有$\mu=\eta$,所以我们有如下推导过程：

$$h_\theta(x)=E[y|x;\theta]=\mu=\eta=\theta^Tx$$
其中第一步推导根据假设2，第二步推导根据高斯分布的定义，对于高斯分布来说它的期望值就是 $\mu$，第三步推导根据假设1，由于y属于指数分布族，就有 $\mu=\eta$，最后一步根据假设3。

逻辑斯蒂回归（Logistic Regression）

对于伯努利分布$y|x;\theta∼Bernoulli(\phi)$来说，它也属于指数分布族中的一个种类，根据之前介绍指数分布族的推导，$\phi=1/(1+e^{-\eta})$，且伯努利分布的期望值是$\phi$。那么假设函数的推导就如下：

$$h_\theta(x)=E[y|x;\theta]=\phi=1/(1+e^{-\eta})=1/(1+e^{-\theta^Tx})$$
从这里就可以看出我们的假设函数 $h(x)$是如何得到的，当我们假设目标变量是关于 $x$的伯努利分布，根据指数分布族和广义线性模型就可以得到这个假设函数$h(x)=1/(1+e^{-\theta^Tx})$

多项式分布（Softmax Regression）

对于某一种多类的分类问题（例如判断一张手写数字写的是什么，即判断目标值是十个阿拉伯数字中的哪一个），与logistic分类问题比较类似，但是它是logistic分类问题的扩展，目标值$y∈\{1,2,3……k\}$。为了解决这类问题，还是引入我们的GLM来解决。首先把这个模型表示成为指数分布族。
把k个不同目标值$y_k$的输出概率表示为$\phi_1,\phi_2,\phi_3.....\phi_k$，这k个值必须有$\sum_{i=1}^{k}\phi_i=1$，那么根据这个关系就可以把参数减少一个，最后一个$\phi_i=1-\sum_{i=1}^{k-1}$，这个可以解释为，如果目标函数不是前面k-1个预测值，那么肯定是最后一个预测的值。
为了表示成指数分布族，我们定义$T(y)$如下：

$$T(1)=\left(\begin{array}{ccccc} 1\\ 0\\ \vdots \\ 0 \end{array}\right) T(2)=\left(\begin{array}{ccccc} 0\\ 1\\ \vdots \\ 0 \end{array}\right) \cdots T(k-1)=\left(\begin{array}{ccccc} 0\\ 0\\ \vdots \\ 1 \end{array}\right) T(k)=\left(\begin{array}{ccccc} 0\\ 0\\ \vdots \\ 0 \end{array}\right)$$
与之前的指数分布族不一样，之前的模型里 $T(y)=y$，而在这里 $T(y)$是一个k-1维的向量，我们记 $(T(y))_i$为 $T(y)$的第i个元素的值，再记1{True} = 1, 1{False} = 0.
我们基于以上的概念，做如下变换：
$$\begin{align} p(y;\phi)&=\phi_1^{1\{y=1\}}\phi_2^{1\{y=2\}}\cdots\phi_k^{1\{y=k\}} \\ &=\phi_1^{1\{y=1\}}\phi_2^{1\{y=2\}}\cdots\phi_k^{1-\sum_{i=1}^{k-1}1\{y=i\}} \\ &=\phi_1^{(T(y))_1}\phi_2^{(T(y))_2}\cdots\phi_k^{1-\sum_{i=1}^{k-1}{(T(y))_i}} \\ &=exp( (T(y))_1)log(\phi_1)+ (T(y))_2log(\phi_2) \cdots + (1-\sum_{i=1}^{k-1}{T(y))_i}log(\phi_k) )\\ &=exp(( (T(y))_1log(\phi_1/\phi_k) + (T(y))_2log(\phi_2/\phi_k) \cdots +(T(y))_{k-1}log(\phi_{k-1}/\phi_{k})+log(\phi_k)) \\ &=b(y)exp(\eta^TT(y)-a(\eta)) \end{align}$$
其中： $$\begin{align} \eta&=\left[\begin{array}{c} log(\phi_1/\phi_k) \\ log(\phi_2/\phi_k) \\ \vdots \\ log(\phi_k-1/\phi_k) \\ \end{array}\right] \\ a(\eta)&=-log(\phi_k)\\ b(y)&=1 \end{align}$$
从这里就可以看到多项式分布就转换成了指数分布族。
其中 $\eta_i=log\frac{\phi_i}{\phi_k}$。
我们继续推导：
$$\begin{align} e^{\eta_i}&=\frac{\phi_i}{\phi_k} \\ e^{\eta_i}\phi_k&= \phi_i \tag1 \\ \phi_k\sum_{i=1}^{k}e^{\eta_i} &=\sum_{i=1}^{k}\phi_i =1 \tag2\\ \end{align}$$
所以可以看到 $\phi$与 $\eta$的关系(上面1式和2式做一个合并)：
$$\frac{\phi_i}{e^{\eta_i}}=\phi_k=\frac{1}{\sum_{j=1}^{k}e^{\eta_j}}$$
可以得到：
$$\phi_i=\frac{{e^{\eta_i}}}{\sum_{j=1}^{k}e^{\eta_j}}$$
这个 $\phi$与 $\eta$的关系函数，就叫做softmax函数。
按照之前的假设3，有 $\eta_i=\theta_i^Tx，其中i =1,2,3\cdots,k-1$
$$\begin{align} p(y=i|x;\theta)&=\phi_i\\ &=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}}\\ &=\frac{e^{\theta_j^Tx}}{\sum_{j=1}^{k}e^{\theta_j^Tx}} \end{align}$$
这种多类的分类问题的模型就是 softmax regression.
我们的假设函数就如下推导出来：
$$\begin{align} h_\theta(x)&=E[T(y)|x;\theta]\\ &=\left[\begin{matrix} \phi_1 \\ \phi_2 \\ \phi_3 \\ \vdots \\ \phi_{k-1} \end{matrix} \right] \\ &=\left[\begin{matrix} \\\frac{e^{\theta_1^Tx}}{\sum_{j=1}^{k}e^{\theta_j^Tx}} \\ \\\frac{e^{\theta_2^Tx}}{\sum_{j=1}^{k}e^{\theta_j^Tx}} \\ \\\frac{e^{\theta_3^Tx}}{\sum_{j=1}^{k}e^{\theta_j^Tx}} \\ \vdots \\ \\\frac{e^{\theta_{k-1}^Tx}}{\sum_{j=1}^{k}e^{\theta_j^Tx}} \end{matrix} \right] \end{align}$$
换句话说，假设函数得到的结果是目标值属于全部分类中某一种分类的概率。模型得到后，我们就可以用样本数据来优化参数，从而得到我们的模型。