怎么讲述逻辑回归?
(面试官:请你简单介绍一下逻辑回归)
从以下几个方面入手
-
逻辑回归是什么
-
逻辑回归的损失函数,有什么优势
-
逻辑回归怎么迭代的
-
逻辑回归有什么优缺点
逻辑回归是什么
逻辑回归一种线性回归模型,它假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降法来求解参数,进而大道二分类的目的。
伯努利分布(Bernoulli distribution),也称为两点分布或者0-1分布,是最简单的离散型概率分布。我们记成功概率为p(0≤p≤1),则失败概率为q=1-p,则:
正类为1,负类为0,显然是服从0-1分布
更多详细内容看下面的大牛博客。
大牛博客https://www.cnblogs.com/ModifyRong/p/7739955.html
大部分内容都来自于这位大牛
逻辑回归的损失函数,为什么用它?
交叉熵损失,通过极大似然估计算出来的就是交叉熵损失,之前的博客只是对交叉熵损失有个感性的认识,并没有推导。
有什么优势?
1 一般和平方损失比较,平方损失加上sigmoid函数将会是一个非凸的函数,非凸函数会得到局部最优解,
用对数似然函数得到的高阶连续可导凸函数,是全局最优解。
2 参数的迭代并不设计到sigmoid函数,从而避免了sigmoid的梯度消失问题。
要是选择其他损失函数,例如MSE,参数迭代的公式里就会有sigmoid函数本身,而sigmoid函数有梯度消失问题,这样训练会很慢
逻辑回归优缺点
优点:
形式简单,可解释强
训练速度比较快
缺点:
准确率可能不高
处理非线性数据比较麻烦,需要做大量的特征工程
--------------------------------------------------------------------------------------------------
1 引言
最近做一个项目,准备用逻辑回归来把数据压缩到[-1,1],但最后的预测却是和标签类似(或者一样)的预测。也就是说它的predict的结果不是连续的,而是类别,1,2,3,...k。对于predict_proba,这是预测的概率,但概率有很多个,数目为训练集类别(label)的个数。逻辑回归的原理,就是取出最大概率对应的类别。
所以逻辑回归,不是回归,而是分类器,二分类,多分类。
逻辑回归,是一个很有误导性的概念。
这是个人最近的体会,入门的读者请忽略。
2 线性回归
先说一下,一般模型的训练和预测过程:
1,训练:通过训练数据来训练模型,也就是通常我们所说的学习过程,即确定模型的参数。
2&#x