什么是逻辑回归
逻辑回归:Logistic Regression;
- LR 由线性回归衍生而来;
- 原理:将样本的特征和样本发生的概率联系起来,概率是一个数;
- 逻辑回归既可以看做是回归算法,也可以看做是分类算法;
- 通常作为
分类
算法用,只可以解决二分类问题
;也可以使用其他技巧使他支持多分类问题
。
比如,在线性回归中,输入特征数据,得到具体的值;可以将这个输出值作为得分;如果有多个类别,那么可以划分到得分最高的这个类别中。
用的分来表示分类结果不恰当,转化为 概率值更好。可以使用 sigmoid 来转换。
在特征空间找到一条直线,来分割样本到对应的两个分类。
sigmoid 函数
公式:
g
(
z
)
=
1
1
+
e
−
z
\large g(z)=\frac{1}{1+e^{-z}}
g(z)=1+e−z1
值域为 [0, 1]
值域(-infinity, +infinity)
问题:
对于给定的样本数据集X,y,我们如何找到参数theta,使得用这样的方式,可以最大程度获得样本数据集 X 对应的分类输出 y ?
逻辑回归的流行度
2020 在 kaggle 中被统计为最常用的算法,比第二名决策树高出20个百分点
逻辑回归的损失函数
损失函数可以表示为:
没有公式解,只能使用梯度下降法求解;
是一个凸函数,只有惟一的一个全局最优解,没有局部最优解;
决策边界
逻辑回归中添加多项式特征
引入多项式项,将线性决策边界转化为非线性。
解决多分类问题 OvR & OvO
这种改造方式不只是针对逻辑回归这一种算法,是一个通用的二分类改造方式
OvR
One vs Rest
n 个类别进行 n 次分类,选择分类得分最高的。
OvO
One vs One
n个类别就进行C(n,2)次分类,选择赢数最高的分类 C 2 4 C^4_2 C24
分类结果更加准确