广义线性模型_广义线性模型与逻辑回归

先做个广告：

零、概述

本文内容包括：线性模型、广义线性模型、逻辑回归、牛顿法以及 IRLS 。前导知识包括：矩阵、向量的计算，多元函数的梯度、赫森矩阵以及二阶泰勒展开，概率论。

---

一、线性模型

假设样本由

维特征向量

和标量响应

组成。

和

服从联合分布

。把确定

的前提下

的条件分布记作

。如果假设对于

，

的随机噪声是加性的，如下式：

则当

时

本质上由

确定，其所有不确定性来源于

。如果进一步假设

满足高斯分布：

那么这就是加性高斯误差。在这种设定下分布

的条件期望，也是概率密度最大的值就是：

把该条件期望当作

时对

的预测值。至于

则是问题固有的、无法通过模型优化去除的误差。所谓线性模型就是用线性函数来建模

：

最后一个等号后面的

是

维向量

，

是

维向量

。

前面加一维常量 1 是为了把截距

纳入向量表达式中。训练集（

）是

个特征向量及其标量响应：

。如果问题是一个回归问题，且选用平方误差作为损失函数：

令

在训练集上最小化平均损失：

最后一个等号后面的

是所有

组成的

维向量。

是

矩阵，其第

行是

。损失函数作为

的函数是凸的，存在全局唯一最小点，也就是唯一的驻点。通过求导并置导向量为 0 再解方程可得到：

这就是要寻找的最优参数——线性回归的最小二乘解。当

时对

个训练样本的预测值是：

是

的列的线性组合，系数向量是

。也就是说

属于

的列空间。并且由于

最优化了平均平方误差，所以

是

的列空间中与向量

欧氏距离最小的向量，即

是

在

列空间上的投影。同时

也是

的一个线性变换，变换矩阵是

。这也是该模型被称为线性模型的一个原因。

的对角线元素的和，即