广义线性模型（Generalized Linear Models）

看了一下斯坦福大学公开课：机器学习教程（吴恩达教授），记录了一些笔记，写出来以便以后有用到。笔记如有误，还望告知。
本系列其它笔记：
线性回归（Linear Regression）
分类和逻辑回归（Classification and logistic regression）
广义线性模型（Generalized Linear Models）
生成学习算法（Generative Learning algorithms）

广义线性模型（Generalized Linear Models）

我们目前学习的两种不同算法对p(y|x;$\theta$)进行建模:
y ∈ R G a u s s i a n d i s t r i b u t i o n → l e a s t   s q u a r e s   o f   l i n e a r   r e g r e s s i o n y ∈ { 0 , 1 } B e r n o u l l i d i s t r i b u t i o n → l o g i s t i c   r e g r e s s i o n y \in \R \quad Gaussian \quad distribution \rightarrow least \ squares \ of \ linear \ regression \\ y \in \lbrace 0, 1 \rbrace \quad Bernoulli \quad distribution \rightarrow logistic \ regression y∈RGaussiandistribution→least squares of linear regressiony∈{ 0,1}Bernoullidistribution→logistic regression

1 指数分布族（The exponential family）

指数分布族可写成如下形式：
$$\begin{gathered} p(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta )) \\ \eta \to 分布的自然参数（naturalparameter） \\ T(y)\to 充分统计量（sufficientstatistic）通常情况下T(y)=y \end{gathered}$$
对于伯努利分布
$$Ber(\varphi )=\{\begin{array}{c}p(y=1|\varphi )=\varphi \\ p(y=0|\varphi )=1-\varphi \end{array}$$

$$\begin{gathered} p(y|\varphi )={\varphi }^{(y)}(1-\varphi {)}^{(1-y)} \\ =\exp (\log ({\varphi }^{(y)}(1-\varphi {)}^{(1-y)})) \\ =\exp (\log ({\varphi }^{(y)})+\log ((1-\varphi {)}^{(1-y)})) \\ =\exp (y\log (\varphi )+(1-y)\log (1-\varphi )) \\ =\exp (y\log (\frac{\varphi }{1-\varphi })+\log (1-\varphi )) \end{gathered}$$

令$T(y)=y,b(y)=1,\eta =\log \frac{\varphi }{1-\varphi }$，则$\varphi =\frac{1}{1+e^{-\eta }}，a(\eta )=-\log (1-\varphi )=\log (1+e^{\eta })$

对于高斯分布
$$\begin{gathered} p(y|\mu ;{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y-\mu {)}^2}{2{\sigma }^2}) \\ =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^2-2y\mu +{\mu }^2)}{2{\sigma }^2}) \\ =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{y^2}{2{\sigma }^2})\exp (\frac{2y\mu -{\mu }^2}{2{\sigma }^2}) \end{gathered}$$
令$T(y)=y,b(y)=\sqrt{2\pi }$