逻辑回归算法原理_手推逻辑回归算法

一、逻辑回归概述

逻辑回归的名字里虽然有回归二字，却不是回归算法，只是保留了回归算法的原理，逻辑回归主要是用来处理分类问题，包括二元回归以及多元回归。

在线性回归中，我们输出的值都是连续型的，那我们能不能通过一种转化来处理分类问题呢，比如在某一种区间输出为一种类别，而在另一种区间输出为另一种类别，逻辑回归的原理就是这样来的。

二、手推逻辑回归算法

首先引入sigmoid函数：

，对

导数手推过程如下（字不好看，见谅呀）：

当

时，可以得出二元回归模型的一般形式：

，当

时，此时

，y取1，当

时，此时

，y取0，当

时，无法判断分类，推导的主要原理是对函数进行对数转化再取反，过程如下：

这里简单说明一下概率和似然的区别：

• 概率是指因变量和自变量的关系
• 似然是指因变量和参数的关系

三、逻辑回归的优化过程

对损失函数的自变量

求偏导，可以得到：

由梯度下降法求解出：

四、逻辑回归正则化

逻辑回归的正则化有L1正则化和L2正则化。

L1正则化：损失函数+

，其中

为

的范式

L2正则化：损失函数+

，其中

为

的范式

越大正则化强度越大，其中

一般不需要正则化。

五、逻辑回归优点

1. 对线性关系比较强的拟合效果好
2. 抗噪声能力强
3. 计算快