Logistic Regression 逻辑回归算法

最新推荐文章于 2024-08-09 12:39:33 发布

wangpei1949

最新推荐文章于 2024-08-09 12:39:33 发布

阅读量1.9k

点赞数

分类专栏：机器学习文章标签：逻辑回归算法

本文链接：https://blog.csdn.net/wangpei1949/article/details/61621051

版权

机器学习专栏收录该内容

19 篇文章 5 订阅

订阅专栏

基本介绍

　　逻辑回归一般用来解决分类问题。是有监督学习。Logistic Regression分类器实际上是一个0/1二分类器。可简单的理解为线性回归

加上一个Sigmoid函数，即把线性回归输出作为Sigmoid函数的输入。有些分类问题并不是线性可分的，但我们可以通过特征映射将非线

性问题转换为线性问题来求解。Sigmoid函数的作用是：将线性回归的输出，如从负无穷到正无穷，压缩到(0~1)之间。

逻辑回归函数

　　Sigmoid函数

$g (z) = 1 1 + e - z$ $g\left ( z \right )= \frac{1}{1+e^{-z}}$
　　线性回归
$f (x) = w T x = w 0 x 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n x 0 = 1$ $f\left ( x \right )=w^{T}x=w_{0}x_{0}+w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}　x_{0}=1$
　　逻辑回归

　　　　线性回归输出作为Sigmoid函数的输入的Sigmoid函数叫做逻辑回归。

$g (z) = 1 1 + e - w T x$ $g\left ( z \right )= \frac{1}{1+e^{-w^{T}x}}$

判定边界

　　当线性函数 $f\left ( x \right )=0$ ,此时Sigmoid函数 $g\left ( f\left ( x \right ) \right )=0.5$ 。

　　当线性函数 $f\left ( x \right )>0$ ,此时Sigmoid函数 $g\left ( f\left ( x \right ) \right )>0.5$ ， $g\left ( z \right )\in \left ( 0.5\sim 1.0 \right )$ ，认为当前数据样本x为类别1。

　　当线性函数 $f\left ( x \right )<0$ ,此时Sigmoid函数 $g\left ( f\left ( x \right ) \right )<0.5$ ， $g\left ( z \right )\in \left ( 0.0\sim 0.5 \right )$ ，认为当前数据样本x为类别0。

　　这就是逻辑回归分类的决策原理。选择0.5作为阈值是一般的做法，实际工程中可根据需求选择阈值。如对正例的要求较高，阈值可以

大一些。

损失函数

　　逻辑回归的目标在于找到判定边界。判定边界即Sigmoid函数的输入函数。判断判定边界的的优劣需要用到损失函数。

$c o s t (g (x), y) = {- log (g (x)) - log (1 - g (x)) y = 1 y = 0$ $cost\left ( g\left ( \mathbf{x} \right ),y \right )=\left\{\begin{matrix} -\log\left ( g\left ( \mathbf{x} \right ) \right ) & y=1 \\ -\log\left ( 1-g\left ( \mathbf{x} \right ) \right ) & y=0 \end{matrix}\right.$
　　 $g\left ( \mathbf{x} \right)$ ：Sigmoid函数预测的类别概率。

　　 $y$ ：原类别,0或1。

　　若本身是正样本 $y=1$ ，预测成了负样本(如 $g\left ( \mathbf{x} \right)$ =0.01)，损失 $cost\left ( g\left ( \mathbf{x} \right ),y \right )$ 就非常大。

　　若本身是负样本 $y=0$ ，预测成了正样本(如 $g\left ( \mathbf{x} \right)$ =0.999)，损失 $cost\left ( g\left ( \mathbf{x} \right ),y \right )$ 也非常大。

　　损失函数合并得到平均损失：

$J (w) = - 1 m \sum i = 1 m (y i log g (x i) + (1 - y i) log (1 - g (x i)))$ $J\left ( \mathbf{w} \right )=-\frac{1}{m}\sum_{i=1}^{m}\left ( y_{i}\log g\left ( \mathbf{x_{i}} \right ) +\left ( 1-y_{i} \right )\log\left ( 1- g\left ( \mathbf{x_{i}} \right )\right )\right )$
　　 $g\left ( \mathbf{x_{i}} \right)$ ：Sigmoid函数预测的类别概率。

　　 $y$ ：原类别,0或1。

　　带上正则化的损失函数：

$J (w) = - 1 m \sum i = 1 m (y i log g (x i) + (1 - y i) log (1 - g (x i))) + λ 2 m \sum j = 1 n w 2 j$ $J\left ( \mathbf{w} \right )=-\frac{1}{m}\sum_{i=1}^{m}\left ( y_{i}\log g\left ( \mathbf{x_{i}} \right ) +\left ( 1-y_{i} \right )\log\left ( 1- g\left ( \mathbf{x_{i}} \right )\right )\right )+\frac{\lambda }{2m}\sum_{j=1}^{n}w_{j}^2$
　　　　 $\frac{\lambda }{2m}\sum_{j=1}^{n}w_{j}^2$ ：正则化项，权重的L2范数乘以一个正则化系数。一定程度上防止过拟合。

　　　　该函数是凸函数，有全局最低点，可以通过梯度下降法去求解。