分类算法——逻辑回归

分类算法

说到分类算法，不能不提到的就是Logistics Regressio(以下均称逻辑回归)

个人认为逻辑回归在分类算法中有着非常重要的地位，因此会花很大的篇幅总结逻辑回归模型。

逻辑回归的模型构建

1. 广义线性模型

为了解决线性回归本身线性结构的局限性，人们在线性回归的基础上在等号的左边或右边加上一个函数，从而更好的捕捉数据的一般规律，此时这种模型就被称为广义线性模型，上面提及的函数被称为联系函数。

有这么一组数据集，假设数据之间的关系是
$$y=e^{x+1}$$
若此时以线性方程来预测，即
$$y=\omega \cdot x+b$$
则此时模型本身与数据本身的拟合如下图

可以发现，线性模型预测结果和真实结果差距较大。但此时如果我们在等号右边加上以为底的指数运算，也就是将线性方程输出结果进行以为底的指数运算转换之后去预测y，即将方程改写为

$$y=e^{\omega \cdot x}$$

等价于
$$\ln y={\omega }^T\cdot x$$

即相当于是线性方程输出结果去预测取以为底的对数运算之后的结果。

通过上面的过程，我们不难发现，通过在模型左右两端加上某些函数，能够让线性模型也具备捕捉非线性规律的能力。而在上例中，这种捕捉非线性规律的本质，是在方程加入对数函数之后，能够使得模型的输入空间（特征所在空间）到输出空间（标签所在空间）进行了非线性的函数映射。而这种连接线性方程左右两端、并且实际上能够拓展模型性能的函数，就被称为联系函数，而加入了联系函数的模型也被称为广义线性模型。广义线性模型的一般形式可表示如下：

$$g(y)={\omega }^T\cdot x$$

等价于

$$y=g^{-1}({\omega }^T\cdot x)$$

2.对数几率模型

• 几率（odd）与对数几率

  几率不是概率，而是一个事件发生与不发生的概率的比值。假设某事件发生的概率为p，则该事件不发生的概率为1-p，该事件的几率为：
  $$odd(p)=\frac{p}{1-p}$$

  在几率的基础上取（自然底数的）对数，则构成该事件的对数几率（logit）
  $$logit(p)=\ln \frac{p}{1-p}$$

• 对数几率模型

  我们将对数几率看成是一个函数，并将其作为联系函数，即$g(y)=\ln \frac{y}{1-y}$，则该广义线性模型为：

  $$g(y)=\ln \frac{y}{1-y}={\omega }^T\cdot x$$

  此时模型就被称为对数几率回归（logistic regression），也被称为逻辑回归。

---

进一步地，如果我们想将上述的对数几率模型“反解”出来，就是改成$y=f(x)$的形式，即有

原式子:
$$\ln \frac{y}{1-y}={\omega }^T\cdot x$$

一步变换:
$$\frac{y}{1-y}=e^{{\omega }^T\cdot x}$$

经过一系列变换:
$$y=\frac{1}{1+e^{-{\omega }^T\cdot x}}=g^{-1}({\omega }^T\cdot x)$$

最后得到逻辑回归的模型为:
$$y=\frac{1}{1+e^{-{\omega }^T\cdot x}}$$

同时也可以看到，对数几率函数的反函数为
$$f(x)=\frac{1}{1+e^{-x}}$$

同时 f (