机器学习笔记（一）逻辑回归与多项逻辑回归

1.逻辑回归与多项逻辑回归

1.1什么是逻辑回归？

逻辑回归，可以说是在线性回归的基础上加上一个sigmoid函数，将线性回归产生的值归一化到[0-1]区间内。sigmoid函数如下：

​

$$sigmoid(x)=\frac{1}{1+e^{-x}}$$

[问题] ：为什么要提出逻辑回归呢？

在线性回归中，我们知道 $\theta^TX$ 就代表了分类的置信度。我们定义一个阈值$θ_0$ , 来进行分类，但实际上，我们都知道$θ^TX$ 的值与$θ_0$ 的差值越大，则分类正确的概率越大，差值越小则正确概率越小。我们希望输出这样的一个概率，就需要将$\theta^TX$ 的范围从$(-\infty, +\infty)$ 限制到(0,1)中。

那么，为什么要使用sigmoid函数呢？

原因有下：

1. sigmoid函数输出范围为(0,1) ;
2. sigmoid函数是一个单调递增函数，满足$\theta^TX$越大时，输出值越大;

3. 对于二分类问题，它的概率分布满足伯努利分布，也就是

   ​ $\begin{cases} P_n=p& n=1 \\ P_n=1-p & n=0 \end{cases}$

这里，我们引入一个发生比$odds=\frac{p}{1-p}$ , 做如下操作：

​ 1. 两边同时取ln, $ln(odds)=ln(\frac{p}{1-p})$

​ 2. logit(p)=ln(odds)