【逻辑回归】Logistic Regression逻辑回归模型学习笔记

本文链接：https://blog.csdn.net/baidu_35692628/article/details/137750439

文章目录

序言

总结逻辑回归模型，LR模型实例

1. 线性回归

一元线性回归： $y = a + b x$
多元线性回归： $z = h(x) = w_{0}x_{0} + w_{1}x_{1}+ w_{2}x_{2} +...+w_{n}x_{n} = W^{T} X$
- 每个样本 $n$ 个特征，每个特征 $x_{i}$ 都有对应的权值 $w_{i}$
- $x_{0} = 1$ ， $w_{0}$ 其实是偏置量，为了公式简洁和方便计算
不管是一元线性回归分析还是多元线性回归分析，都是线性回归分析

2. 逻辑回归

2.1 引入逻辑回归的原因

在一些特别的情况下, 线性回归可以用于分类问题, 找到分类的阈值, 但是一旦样本点出现分布不均匀, 会导致线性方程的参数产生偏移, 造成严重的误差
另一方面, 我们希望分类模型的输出是0,1即可, 线性回归的值域在 $(-\infty , +\infty )$ , 是连续的, 不满足我们的要求

2.2 逻辑回归

逻辑回归与线性回归都是广义线性模型, 线性回归假设Y|X服从高斯分布, 逻辑回归假设Y|X服从伯努利分布
逻辑回归以线性回归为理论支持, 通过逻辑函数(Sigmoid函数)引入非线性因素。逻辑回归的思路就是将线性回归的结果z通过逻辑函数g(z)从 $(-\infty , +\infty )$ 映射到(0,1), 再通过决策边界建立与分类的概率联系
逻辑回归虽然带有"回归"二字, 但却是一种分类模型, 最常见的是用于处理二分类问题
逻辑回归假设数据服从伯努利分布(二项分布，0-1分布)，通过极大似然估计的方法，运用梯度下降法求解参数，来达到将数据二分类的目的

2.3 逻辑回归的应用

逻辑回归模型广泛用于各个领域，包括机器学习，大多数医学领域和社会科学
逻辑回归模型也用于预测在给定的过程中，系统或产品的故障的可能性
逻辑回归模型现在同样是很多分类算法的基础组件，其模型清晰有对应的概率学理论基础，是理解数据的好工具

3. 逻辑函数

3.1 sigmoid函数

$\frac{1}{1+e^{-z} }$

sigmoid函数图像

3.2 sigmoid函数的性质

任意输入压缩到0-1之间
任意阶可导, 函数在z = 0处的导数最大
函数满足关系： $g (- z) = 1 - g (z)$
导函数满足关系： $\frac{\partial g(z)}{\partial z} = g(z)(1-g(z))$
函数两边梯度趋于饱和, 容易导致梯度消失
- z=5时，g(z)已经在0.99以上

3.3 决策边界

将线性回归结果带入g(z)函数, 得到0~1之间的概率值, 如果认为p > 0.5属于一类, 否则是另一类, 那么0.5就是决策边界

3.4 对数几率

逻辑函数做如下抓换

$\frac{1}{1+e^{-z} } \Rightarrow g(z)*(1+e^{-z} )=1 \Rightarrow e^{-z} = \frac{1}{g(z)}-1 \Rightarrow -z=ln(\frac{1-g(z)}{g(z)} ) \Rightarrow z=ln(\frac{g(z)}{1-g(z)} )$