逻辑回归损失函数_李航统计学习方法：第六章 逻辑斯谛回归

Sigmoid函数公式

Sigmoid函数图像

① 中间范围内函数斜率最大，对应Y的大部分数值变化。

② Y轴数值范围在 0~1 之间。

③ X轴数值范围没有限制，但当X大于一定数值后，Y无限趋近于1，而小于一定数值后，Y无限趋近于0。

④ 特别地，当 X=0 时，Y=0.5。

⑤ sigmoid函数可以实现不管X取什么样的值，Y值都被非线性地映射在 0~1 之间，实现二分类。

⑥ 逻辑回归不是回归模型，而是分类模型。

阶跃函数

① 神经网络激活函数不选择阶跃函数一样，因为它不连续不可微。

② 满足分类的效果，且是连续的函数，sigmoid函数非常适合。

逻辑回归模型

① 逻辑回归模型是通过在线性回归模型的基础上，套一个 sigmoid 函数来实现。

② 把原来的

替换为一个线性模型

就得到了上面公式。

注：代替部分扩展如下：