7.逻辑回归

逻辑回归：解决分类问题

对于线性回归来说，我们得到一个函数f，将样本x输入f后，得到的值y就是要预测的值。 而对于逻辑回归来说，我们要得到一个函数f，将样本x输入f后，f会计算出y一个概率值p，之后我们使用这个概率值p来进行分类，如果p>=0.5,也就是有百分之50以上的概率发生的话，我们就让这个概率的值为1，否则让它为0，当然1和0在不同的场景下代表不同的意思。

线性回归计算出来的值域是负无穷到正无穷，而使用逻辑回归得出来的p是只取0到1之间的值。这使得不能直接使用线性回归的方法，因为逻辑回归的值域是有限制的，使用线性回归或者多项式回归拟合出来的直线或者曲线肯定会比较差。 可以在线性回归的结果基础上，添加一个σ函数，将结果转换成0到1之间。

Sigmoid函数：

逻辑回归的损失函数：

                                                        （此处的y^表示预测值，y表示样本的真值）

                                                                               此处横坐标表示p^（取值范围0到1）,纵坐标表示损失cost。

最终损失函数：

这里的θ没有公式解，只能用梯度下降法求解。此损失函数没有局部最优解，只有全局最优解。

逻辑回归损失函数的梯度：

向量化后的结果：

使逻辑回归可以解决多分类问题：

OvR （One vs Rest -- 一针对剩余）:

OvO （One vs One -- 一对一的进行比较）：

分类结果比OvR更准确，但更耗时。