logistic回归分类与softmax回归

目录

Logistic回归

逻辑回归的定义式：

损失函数

梯度下降

Logistic回归防止过拟合：

Softmax回归：

loss函数

逻辑回归与Softmax回归的联系

与神经网络的关系

logistic回归（多分类）和softmax的关系：

YOLOV3中的逻辑分类应用

---

Logistic回归

Logistic回归（LR）：是一种常用的处理二分类问题的模型。

二分类问题中，把结果y分成两个类，正类和负类。因变量y∈{0, 1}，0是负类，1是正类。线性回归的输出值在负无穷到正无穷的范围上，并不好区分是正类还是负类。因此引入非线性变换，把线性回归的输出值压缩到（0, 1）之间，那就成了Logistic回归，使得≥0.5时，预测y=1，而当<0.5时，预测y=0。

逻辑回归的定义式：

，x代表样本的特征向量。

其中，

为sigmoid函数，

可以理解为预测为正类的概率，即后验概率，的取值范围是(0, 1)。。

所以Logistic回归模型就是：

判断类别：

对loss函数求导得到：

当类别y=1时，损失随着的减小而增大，为1时，损失为0；

当类别y=0时，损失随着的增大而增大，为0时，损失为0。

损失函数

这个损失函数叫做对数似然损失函数࿰