逻辑回归从入门到深入（logistic regression)

怎么讲述逻辑回归？

（面试官：请你简单介绍一下逻辑回归）

从以下几个方面入手

• 逻辑回归是什么

• 逻辑回归的损失函数，有什么优势

• 逻辑回归怎么迭代的

• 逻辑回归有什么优缺点

逻辑回归是什么

逻辑回归一种线性回归模型，它假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降法来求解参数，进而大道二分类的目的。

伯努利分布(Bernoulli distribution)，也称为两点分布或者0-1分布，是最简单的离散型概率分布。我们记成功概率为p(0≤p≤1)，则失败概率为q=1-p，则：

正类为1，负类为0，显然是服从0-1分布

伯努利分布

更多详细内容看下面的大牛博客。

大牛博客https://www.cnblogs.com/ModifyRong/p/7739955.html

大部分内容都来自于这位大牛

逻辑回归的损失函数，为什么用它？

交叉熵损失，通过极大似然估计算出来的就是交叉熵损失，之前的博客只是对交叉熵损失有个感性的认识，并没有推导。

有什么优势？

1 一般和平方损失比较，平方损失加上sigmoid函数将会是一个非凸的函数，非凸函数会得到局部最优解，

用对数似然函数得到的高阶连续可导凸函数，是全局最优解。

2 参数的迭代并不设计到sigmoid函数，从而避免了sigmoid的梯度消失问题。

要是选择其他损失函数，例如MSE，参数迭代的公式里就会有sigmoid函数本身，而sigmoid函数有梯度消失问题，这样训练会很慢

逻辑回归优缺点

优点：

形式简单，可解释强

训练速度比较快

缺点：

准确率可能不高

处理非线性数据比较麻烦，需要做大量的特征工程

--------------------------------------------------------------------------------------------------

1 引言

    最近做一个项目，准备用逻辑回归来把数据压缩到[-1,1]，但最后的预测却是和标签类似（或者一样）的预测。也就是说它的predict的结果不是连续的，而是类别，1,2,3,...k。对于predict_proba，这是预测的概率，但概率有很多个，数目为训练集类别（label）的个数。逻辑回归的原理，就是取出最大概率对应的类别。

    所以逻辑回归，不是回归，而是分类器，二分类，多分类。

    逻辑回归，是一个很有误导性的概念。

    这是个人最近的体会，入门的读者请忽略。

2 线性回归

    先说一下，一般模型的训练和预测过程：

    1，训练：通过训练数据来训练模型，也就是通常我们所说的学习过程，即确定模型的参数。

    2&#x