16-逻辑回归

逻辑回归

应用场景：二分类问题。逻辑回归也能得出概率值

逻辑回归为什么叫逻辑回归：因为是二分类，结果非此即彼，与逻辑运算类似

线性回归的式子作为逻辑回归的输入

所以线性回归的问题，逻辑回归也会出现

如何将线性回归的输入转换为一个分类问题的

sigmoid函数

特点：最后的输出值在0-1之间，当x=0时，y=0.5。0-1与概率是可以相对应的

sigmoid公式

输出：[0,1]区间的概率值，默认0.5作为阀值，大于0.5的可以分为1，小于0.5的可以分为0

注：g(z)为sigmoid函数。z就是线性回归的输入，即θ的转置与x的乘积

逻辑回归的损失函数

与线性回归原理相同，但由于是分类问题，损失函数不一样，只能通过梯度下降来求解。逻辑回归的损失函数称对数似然损失

当y=1时，损失函数（判断属于1的概率）：
当y=0时，损失函数：

在完整的损失函数中，其公式和信息熵比较像

用案例理解逻辑回归的损失函数：

"""
假设对4个样本进行分类：【样本1， 样本2， 样本3， 样本4】
实际的结果为：【1 0 0 1】
但是分类的概率为：【0.6， 0.1， 0.51， 0.7】，阀值为0.5
所以分类结果为：【1 0 1 1】
四个损失相加：1log(0.6) + 0log(0.1) + 0log(0.51) + 1log(0.7)   #可以将其理解为信息熵的大小（信息熵的大小越小越好，越小，不确定性越小）
"""

**逻辑回归中要做的还是还是更新权重**

损失函数出现多个极小值

至今学习的损失函数中，主要有均方误差和对数似然损失函数两种。
在均方误差中，损失函数不会出现多个极小值（局部最低点）的情况

而在对数似然损失函数中：如图