CS229 Lecture 4

CS229 Lecture 4

这节课听的也是不太懂，先把笔记记下来

课程要点：

牛顿方法
广义线性模型
指数分布族
多项式分布

---

牛顿方法
牛顿方法提供了一种求解极值的方法，它需要迭代的次数会较梯度下降、上升之类的算法少很多。

上图中左子图中有函数$f(x)$要求解其与$x$轴的交点，一种方法是选一点$x_0$,计算其在对应的$f(x_0)$,过$(x_0,f(x_0))$做一条切线与$x$轴的交点为$x_1$,如图中，中间子图。接着计算$f(x_1)$的值，再过$(x_1,f(x_1))$做一条切线交$x$轴于$x_2$，如图中右子图。如此迭代直到$f(x_{?})=0$。

下面用公式表达其迭代过程(由于我们一般求解的是$\theta$把上面的$x$替换为$\theta$)：

$f(\theta )$  $find$  $\theta$  $s.tf(\theta )$

$f^{{}^{\prime }}({\theta }^{(0)})=\frac{f({\theta }^{(0)})}{△}△=\frac{f({\theta }^{(0)})}{f^{{}^{\prime }}({\theta }^{(0)})}$

${\theta }^{(1)}={\theta }^{(0)}-\frac{f({\theta }^{(0)})}{f^{{}^{\prime }}({\theta }^{(0)})}$

${\theta }^{(t+1)}={\theta }^{(t)}-\frac{f({\theta }^{(t)})}{f^{{}^{\prime }}({\theta }^{(t)})}$

从上面的推导可以看出，牛顿方法的迭代规律，使用其求解似然函数$L(\theta )$:

$L(\theta )$   $want$  $\theta$  $s.t$  $L^{{}^{\prime }}(\theta )=0$

${\theta }^{(t+1)}={\theta }^{(t)}-\frac{L^{{}^{\prime }}({\theta }^{(t)})}{L^{{}^{\prime \prime }}({\theta }^{(t)})}$

牛顿方法的收敛速度非常快,在收敛到较小时可以达到二次收敛的效果:

$0.01error\to 0.001error\to 0.00001error$

如果需要迭代的$\theta$并不是一个实数而是向量的画，牛顿方法的迭代公式为：
$${\theta }^{(t+1)}={\theta }^{(t)}-H^{-1}{▽}_{\theta }L$$
其中$H$是$Hessian$矩阵，其形状为$n\ast n$或$(n+1)\ast (n+1)$,且$H_{ij}=\frac{{\partial }^{2}L}{\partial {\theta }_i\partial {\theta }_j}$

虽然说牛顿迭代的次数要相对于梯度方法要少很多，但是如果矩阵$H$并不小的话（特征数很多），计算这个矩阵的逆代价还是挺高的，所以整体下来耗费的计算量并不一定比梯度方法少。

牛顿方法求极致不论是极大还是极小其迭代公式都是一样的。

---

广义线性模型

前面学过的最小二乘使用的假设是高斯分布，$p(y|x;\theta )$ 其中$y\in R$,还有逻辑回归，使用的是伯努利分布($Bernoulli$)分布， y ∈ { 0 , 1 } y\in \{0,1\} y∈{0,1}。

实际上上面提到的高斯分布和伯努利分布都属于指数分布族($exponentialfamily$),如果满足指数分布族那么分布函数可以被写成：
$$p(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta ))$$

其中$\eta$被称为自然参数($naturalparameter$)也叫标准参数($canonicalparameter$)。$T(y)$被称为充分统计量，在通常情况下$T(y)=y$，最后$a(\eta )$被称为$logpartitionfunction$。其中$T,a,b$的形式确定了$p(y;\eta )$分布所属的类型，而$\eta$则改变了此种分布的分布状态。例如伯努利分布函数$p(y=1;\varphi )=\varphi$,当我们改变$\eta$的时候，也就对应改变了$\varphi$。

---

伯努利分布是指数分族的一个特例：

$Ber(\varphi )$ 对应于$p(y=1;\varphi )=\varphi$

既然说伯努利分布是指数分布族的一个特例，那么将对应的$T,a,b$都是啥？伯努利分布的结果只有两种 { 0 , 1 } \{0,1\} {0,1}。
$$\begin{gathered} p(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y}=exp(log({\varphi }^y(1-\varphi {)}^{1-y})) \\ =exp(ylog\varphi +(1-y)log(1-\varphi )) \\ =exp(ylog(\frac{\varphi }{(1-\varphi )})+log(1-\varphi )) \end{gathered}$$

从上面的公式可以看出$\eta =log(\frac{\varphi }{1-\varphi })$,$T(y)=y$,$a(\eta )=-log(1-\varphi )$和$b(y)=1$,可以得出$\varphi =\frac{1}{1+e^{-\eta }}$

---

高斯分布是指数分布族的一个特例

我们直到高斯分布$N～(u,{\sigma }^2)$，前面讨论其实${\sigma }^2$取多大其实对求解最大值并没有影响，为了推导方便设${\sigma }^2=1$:
$$\frac{1}{\sqrt{2\pi }}ex{p}^{-\frac{1}{2}(y-\mu {)}^2}=\frac{1}{\sqrt{2\pi }}ex{p}^{(-\frac{1}{2}{y}^2)}ex{p}^{(\mu y-\frac{1}{2}{\mu }^2)}$$

这里可以得到:
$\mu =\eta$

$T(y)=y$

$a(n)=\frac{{\mu }^2}{2}=\frac{{\eta }^2}{2}$

$b(y)=\frac{1}{\sqrt{2\pi }}ex{p}^{(-\frac{1}{2}{y}^2)}$

其实还有很多分布如泊松分布、多项式分布也是指数分布族

---

广义线性模型(GLM)

根据基于$x,y$的条件分布构建广义线性模型需要基于3个假设：

• $y|x;\theta \sim ExponentialFamily$即给定$x$及参数$\theta$，$y$的分布服从指数分布族，这个指数分布族的参数是$\eta$。
• 给定$x$，我们目标是预测$T(y)$,在大多数情况下$T(y)=y$,这意味着我们我们学习到的模型$h$其$h(x)=E[y|x]$。
• 输入$x$和$\eta$满足线性关系，通常情况下为$\eta ={\theta }^{T}x$,如果$\eta$是向量的话满足${\eta }_i={\theta }_i^{T}x$

如果我们模型能满足这些假设条件，我们就称其为广义线性模型，满足这个模型的话，会拥有很多优秀的属性，广义线性模型可以很好模拟不同的分布。

例如在逻辑回归里面，我们要预测的 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1},那么很自然的想到伯努利分布，即$y|x;\theta \sim Bernoulli(\varphi )$而$E[y|x;\theta ]=\varphi$。

$$h_{\theta }(x)=E[y|x;\theta ]=\varphi =1/(1+e^{-\eta })=1/(e^{-{\theta }^{T}x})$$

上式中第一个等式是因为伯努利的期望等于$\varphi$,第二个等式是基于前面推导的$\varphi$和$\eta$的关系，第三个等式是因为等三个假设。

上面就得出来了逻辑回归的公式。其中$g(\eta )=E[T(y);\eta ]=1/(e^{-\eta })$,这个$g$被称为正则响应函数(canonical response function)，$g^{-1}$被称为正则关联函数。

---

多项式分布和softmax regression

现在又一个多元分类问题，即 y ∈ { 1 , 2 , 3 , ⋯   , k } y\in\{1,2,3,\cdots,k\} y∈{1,2,3,⋯,k}。概率分布为$p(y=i)={\varphi }_i$,现在有参数${\varphi }_1,{\varphi }_2,\cdots ,{\varphi }_k$。实际上${\varphi }_k=1-{\varphi }_1,{\varphi }_2,\cdots ,{\varphi }_{k-1}$。所有$k-1$个参数${\varphi }_1,{\varphi }_2,\cdots ,{\varphi }_{k-1}$。

现在令$T(1)=\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right]$,$T(2)=\left[\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right]$,$\cdots \cdots$$T(k-1)=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 1\end{array}\right]$,$T(k)=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right]$

再定义下指示函数用来表示命题的真假，定义如下：

1 { T r u e } = 1 1\{True\}=1 1{True}=1且 1 { F a l s e } = 0 1\{False\}=0 1{False}=0,例如 1 { 2 = 3 } = 0 1\{2=3\}=0 1{2=3}=0

有了指示函数可以使得 T ( y ) i = 1 { y = i } T(y)_i=1\{y=i\} T(y)i​=1{y=i}。

p ( y ) = ϕ 1 1 { y = 1 } ϕ 2 1 { y = 2 } ⋯ ϕ k 1 { y = k } = ϕ 1 T ( y ) 1 ϕ 2 T ( y ) 2 ⋯ ϕ k 1 − ∑ T ( y ) i = p ( y ; η ) = b ( y ) e x p ( η T T ( y ) − a ( η ) ) p(y)=\phi_1^{1\{y=1\}}\phi_2^{1\{y=2\}}\cdots\phi_k^{1\{y=k\}}=\phi_1^{T(y)_1}\phi_2^{T(y)_2}\cdots\phi_k^{1-{\sum{T(y)_i}}}\\= p(y;\eta) = b(y)exp(\eta^{T}T(y) − a(\eta)) p(y)=ϕ11{y=1}​ϕ21{y=2}​⋯ϕk1{y=k}​=ϕ1T(y)1​​ϕ2T(y)2​​⋯ϕk1−∑T(y)i​​=p(y;η)=b(y)exp(ηTT(y)−a(η))

得出：
$b(y)=1$
$a(\eta )=-log({\varphi }^k)$

$\eta =\left[\begin{array}{c}log({\varphi }^1/{\varphi }^k)\\ log({\varphi }^2/{\varphi }^k)\\ ⋮\\ log({\varphi }^{k-1}/{\varphi }^k)\end{array}\right]$

${\eta }_i=log\frac{{\varphi }_i}{{\varphi }_k}$

进而有$e^{{\eta }_i}=\frac{{\varphi }_i}{{\varphi }_k}\to {\varphi }_k{e}^{{\eta }_i}={\varphi }_i\to {\varphi }_k\sum e^{{\eta }_i}=1\to {\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_j^k{e}^{{\eta }^j}}$

我们知道$p(y=i|x;\theta )={\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_j^k{e}^{{\eta }^j}}=\frac{e^{{\theta }_i^{T}x}}{{\sum }_j^k{e}^{{\theta }_j^{T}x}}$

我们这里的多分类问题被称为$softmaxregression$,这是一种基于逻辑回归的衍生方法。
h θ ( x ) = E [ T ( y ) ∣ x ; θ ] = E [ 1 { y = 1 } 1 { y = 2 } ⋮ x ; θ 1 { y = k − 1 } ] = [ ϕ i ϕ 2 ⋮ ϕ k − 1 ] = [ e θ 1 T x ∑ j k e θ j T x e θ 2 T x ∑ j k e θ j T x ⋮ e θ k − 1 T x ∑ j k e θ j T x ] h_\theta(x)=E[T(y)|x;\theta]=E\left[\begin{array}{c|c} 1\{y=1\}&\\1\{y=2\}&\\\vdots &x;\theta\\1\{y=k-1\}& \end{array}\right]=\begin{bmatrix} \phi_i\\\phi_2\\\vdots\\\phi_{k-1} \end{bmatrix}=\begin{bmatrix} \frac{e^{\theta_1^Tx}}{\sum_{j}^{k} e^{\theta_j^Tx}}\\\frac{e^{\theta_2^Tx}}{\sum_{j}^{k} e^{\theta_j^Tx}}\\\vdots\\\frac{e^{\theta_{k-1}^Tx}}{\sum_{j}^{k} e^{\theta_j^Tx}} \end{bmatrix} hθ​(x)=E[T(y)∣x;θ]=E⎣⎢⎢⎢⎡​1{y=1}1{y=2}⋮1{y=k−1}​x;θ​⎦⎥⎥⎥⎤​=⎣⎢⎢⎢⎡​ϕi​ϕ2​⋮ϕk−1​​⎦⎥⎥⎥⎤​=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​∑jk​eθjT​xeθ1T​x​∑jk​eθjT​xeθ2T​x​⋮∑jk​eθjT​xeθk−1T​x​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤​

上式就是$softmaxregression$的拟合函数。

如果要求解最佳的$\theta$时，需要对极大似然函数进行求解，$softmax$的的极大似然函数定义为：
L ( θ ) = ∑ i = 1 m l o g p ( y ( i ) ; x ( i ) ; θ ) = ∑ i = 1 m l o g ∏ l = 1 k ( e θ l T x ( i ) ∑ j k e θ j T x ( i ) ) 1 { y ( i ) = l } L(\theta)=\sum_{i=1}^{m}logp(y^{(i)};x^{(i)};\theta)=\sum_{i=1}^{m}log\prod_{l=1}^{k}(\frac{e^{\theta_{l}^Tx^{(i)}}}{\sum_{j}^{k} e^{\theta_j^Tx^{(i)}}})^{1\{y^{(i)=l}\}} L(θ)=i=1∑m​logp(y(i);x(i);θ)=i=1∑m​logl=1∏k​(∑jk​eθjT​x(i)eθlT​x(i)​)1{y(i)=l}

使用牛顿法或者梯度上升方法求解最大值。

---

待理解！