【算法梳理】逻辑回归

目录

1、逻辑回归与线性回归的联系与区别

2、 逻辑回归的原理

3、逻辑回归损失函数推导及优化

4、 正则化与模型评估指标

5、逻辑回归的优缺点

6、样本不均衡问题解决办法

7.LR介绍提纲

8、sklearn参数

---

逻辑回归也叫逻辑斯蒂回归、对数几率回归、对率回归。

1、逻辑回归与线性回归的联系与区别

• 由线性回归到逻辑回归

1）线性模型如何用在回归学习中？

      广义线性模型：找到一个单调可微的函数将分类任务的实际标记与线性回归模型的预测值联系起来。

2）如何联系？

     对于二分类任务，标记为{0，1}，线性模型预测值为

     最理想的情况时单位阶跃函数，即：

3）考虑到连续性和可导性，用对数几率函数（一种Sigmoid函数）来做替代函数。

     即：，带入z可得：

4）变为广义线性模型的形式：

     

     称为‘几率’，称为‘对数几率’。所以称为对数几率回归。

• 区别

1）逻辑回归用于分类，线性回归多用于回归问题。

2）线性回归做分类因为考虑了所有样本点到分类决策面的距离，所以在两类数据分布不均匀的时候将导致误差非常大；LR克服了这个缺点，其中LR将所有数据采用sigmod函数进行了非线性映射，使得远离分类决策面的数据作用减弱。

3）线性回归是拟合函数，逻辑回归是预测函数

4）线性回归的参数计算方法是最小二乘法，逻辑回归的参数计算方法是梯度下降

2、 逻辑回归的原理

1）Sigmoid函数

 

2）LR模型

3）多项LR模型：

4）模型参数估计

            由极大似然估计得到损失函数，由梯度下降等方法求取参数

参考：https://blog.csdn.net/touch_dream/article/details/79371462

3、逻辑回归损失函数推导及优化

        在机器学习理论中，损失函数（loss function）是用来衡量模型的预测值f(x)f(x)与真实值YY的不一致程度，它是一个非负实值函数，损失函数越小，模型越优（还需考虑过拟合等问题）。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项。

        对于逻辑回归，其loss function是log损失，这可以通过极大似然估计进行推导得到。

        预测函数的表达式为：

        则有：和。归纳为

• 极大似然推导

极大似然函数：

两边取对数，可得：