logistic回归

一般的线性回归，一般是用于回归学习上

如何将线性回归思想应用在分类上面？

最直接的就是在线性函数的输出加个阶跃函数，用于非线性映射

设$z=w^Tx+b$

单位阶跃函数映射：$y=\left\{\begin{aligned} 0,\ \ z\leq 0 \\ 0.5, \ \ z=0 \\1,z>0\end{aligned}\right.$

然而单位阶跃函数不可以求导，因此在求解模型的时候不好求解

因此改成把这个非线性映射改成了：

$y=\dfrac{1}{1+e^{-z}}$

这个函数是sigmoid函数中的一种，sigmoid就是S型的意思

当$y>0.5$的时候，就当做第1类，当$y<0.5$的时候，就当做第0类，这样就实现了分类了

巧妙的是：logistic函数输出的y，恰好$p(Y=1)$的概率

logistic回归的模型

logistic回归是一种概率建模，是用极大似然法来学习模型的。

假设一共有N个样本，则模型如下：

$\max\limits_w\prod\limits_{i=1}^NP(Y=y_i|X=x_i)=\prod\limits_{i=1}^Np(x_i;w)^{y_i}(1-p(x_i;w))^{1-y_i}$

这里面$y_i$要么是0要么是1

而这里面，$p(x_i;w)=\dfrac{1}{1+e^{-z}}$这就是$y_i=1$的概率

$1-p(x_i;w)=\dfrac{1}{1+e^{z}}$这就是$y_i=0$的概率

如何求解这个优化问题？

一般要把它取对数，把连乘变成连加，再求导，求极值点，继而求出w

但是会发现会得到个超越方程，没有闭合解

因此一般用牛顿-拉斐森法来求，它是一种迭代法，逐步逼近最优解