从线性到非线性模型-广义线性模型

从线性到非线性模型

1、线性回归，岭回归，Lasso回归，局部加权线性回归

2、logistic回归，softmax回归，最大熵模型

3、广义线性模型

4、Fisher线性判别和线性感知机

5、三层神经网络

6、支持向量机

code: https://github.com/myazi/myLearn

三、广义线性模型

​ 从线性回归，logistic回归，softmax回归，最大熵的概率解释来看，我们会发现线性回归是基于高斯分布+最大似然估计的结果，logistic回归是伯努利分布+对数最大似然估计的结果，softmax回归是多项分布+对数最大似然估计的结果，最大熵是基于期望+对数似然估计的结果。前三者可以从广义线性模型角度来看。

指数分布家族

​ 指数分布家族是指可以表示为指数形式的概率分布，指数分布的形式如下：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
其中$\eta$是分布的自然参数，$T(y)$是充分统计了，通常$T(y)=y$.当参数$a,b,T$都固定的时候，就定义了一个以$\eta$为参数的函数族。

实际上大多数的概率分布都属于指数分布家族，比如

1）伯努利分布 0-1问题

2）二项分布，多项分布 多取值 多次试验

3）泊松分布 计数过程

4）伽马分布与指数分布

5）$\beta$分布

6）Dirichlet分布

7）高斯分布

现在我们将高斯分布和伯努利分布用指数分布家族的形式表示：

高斯分布
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
对应到指数分布家族有：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
伯努利分布
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
对应到指数分布家族有：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …

广义线性模型

​ 在了解指数分布家族之后，我们再来看广义线性模型的形式定义与假设：

1）$y|x;\theta \sim ExpFamily(\eta );$ 给定样本x与参数$\theta$，样本分类y服从指数分布家族的某个分布

2）给定一个x，我们目标函数为$h_{\theta }(x)=E[T(y)|x]$

3. $\eta ={\theta }^{T}x$

​ 三条假设，第一条是为了能在指数分布范围内讨论y的概率，第二条假设是为了使得预测值服从均值为实际值得一个分布，第三条假设是为了设计的决策函数（模型）是线性的。

由高斯分布的指数家族分布形式与广义线性模型的定义有线性回归的模型为：
h θ ( x ) = E [ T ( y ) ∣ x ] = E [ y ∣ x