线性回归与广义线性模型(GLM)简介

最新推荐文章于 2024-04-30 11:14:14 发布

XiaomengYe

最新推荐文章于 2024-04-30 11:14:14 发布

阅读量7.8k

点赞数

分类专栏：数学与模型

本文链接：https://blog.csdn.net/xiaomeng29/article/details/89330819

版权

数学与模型专栏收录该内容

4 篇文章 0 订阅

订阅专栏

线性回归

假设我们有一堆数据 $\left \{ (x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m),y^{(m)}}) \right \}$ ，我们的任务是根据这些数据建立一个模型，如果我们另外获得了新的样本x，我们要用该模型预测y。如果这是一个回归问题，最简单的一个想法是将它建立为线性模型(这里的线性是指对参数的线性)：

$y = \theta_0 + \theta_1x_1 + ... + \theta_nx_n + \epsilon$

这里 $\epsilon$ 是噪音，通常我们会假设噪音满足 $\epsilon \sim Normal(0, \sigma^2 )$ ，这样y满足一下分布：

$y \sim Normal(\theta^Tx, \sigma^2 )$

接下来就是最大似然概率的事情了

$argmax_{\theta}L(\theta)\\ = argmax_{\theta} \sum_{i=1}^m - \frac{(y^{(i)} - \theta^Tx^{(i)})^2} {2\sigma^2 } \\ = argmin_{\theta} \sum_{i=1}^m (y^{(i)} - \theta^Tx^{(i)})^2$

这里我们可以把上式变为矩阵形式（非常漂亮），我们设

且

则原问题转化为

$argmax_{\theta}L(\theta) \\ = argmin_{\theta}(X\theta - \vec{y})^T (X\theta - \vec{y}) \\$

229我们对 $(X\theta - \vec{y})^T (X\theta - \vec{y})$ 求导，中间推导过程比较长(可参考吴恩达CS229 note1)这里就省略了，最后可以得到，令其等于零，即结果。

广义线性模型

对于y是连续值得情况，我们可以用这种方式处理，但当y是离散值(比如count data，binary data 见wiki Statistical data type)我们用普通线性模型就不合适了，这时我们引用另外一种模型 --- Generalised Linear Models 广义线性模型。

为了获取GLM模型，我们列出3个条件：

1. ，也就是y|x为指数族分布，指数族分布形式：

2. 如果我们判断y的假设为 h(x) ，则 h(x) = E[y|x] 。

3. 自然参数 $\eta$ 和输入x呈线性关系： $\eta = \theta^Tx$

这3个条件的来由我们不讨论，我们只知道做这样的假设是基于“设计”的选择，而非必然。

我们以泊松回归为例, y服从泊松分布 $p(y;\lambda) = \frac{e^{-\lambda}\lambda^y}{y!}$ ，化为指数族形式，我们可以得到 $b(y) = \frac{1}{y!}$ ， $\eta = ln\lambda$ ， T(y) = y ， $a(\eta) = \lambda$ 。所以 $p(y;x,\theta) = \frac{e^{-e^{\theta^Tx}}(e^{\theta^Tx})^y}{y!}$

之后即为最大似然法的过程。

参考文献：

[1] 吴恩达 cs229 lecture note 1

[2] Introduction to Generalized Linear Models

XiaomengYe

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
线性回归与广义线性模型(GLM)简介

线性回归假设我们有一堆数据，我们的任务是根据这些数据建立一个模型，如果我们另外获得了新的样本x，我们要用该模型预测y。如果这是一个回归问题，最简单的一个想法是将它建立为线性模型(这里的线性是指对参数的线性)：这里是噪音，通常我们会假设噪音满足，这样y满足...
复制链接

扫一扫