广义线性模型和逻辑回归的公式推导

广义线性模型

回顾之前我们介绍的一元和多元线性回归，其最终目标都是寻找一个权值向量 $\boldsymbol w$ 和常数偏置 $b$， 使每个样本数据 $(\boldsymbol x, y)$ 中的 $\boldsymbol x$ 代入二者所确立的模型

$$\hat y=\boldsymbol w^T\boldsymbol x+b \tag 1$$

中所得到的模型预测值 $\hat y$ 与真实值 $y$ 能够尽可能地接近。这里因变量 $y$ 与自变量 $\boldsymbol x$ 中的每一维都是线性关系，而在现实问题中，绝大多数问题并非简单的线性情况，那么如果 $y$ 的 衍生 可以满足与自变量的线性关系，例如取对数以后

$$\ln y=\boldsymbol w^T\boldsymbol x+b \tag 2$$

我们把对数函数这类的函数称为 联系函数 ，其作用是：把真实标记 $y$ 转换成为其对应特征的线性回归值。从形式上看式 (2) 仍是线性回归，但本质已经转变成了寻找从输入空间到输出空间的非线性映射关系。

更加一般地形式化表示，我们寻找一个单调可微的联系函数 $f(∙)$ 令其满足

y=f−1(wTx+b)