「机器学习」分类问题之logistic逻辑回归模型

一、二进制分类

y 值只能为两个值

线性回归通常不适用于分类问题

二、逻辑 (logistic) 回归模型

注： 逻辑回归为分类算法，而非线性回归问题的算法 —— 适用于二进制回归

1. sigmoid function(logistic function)

输出f_{w,b}(x) = P(y=1|x;w,b)：y 等于 1 的概率

• 如何理解？

  When is f_{w,b}(x) ≥ 0.5

                          g(z) ≥ 0.5

                               z ≥ 0

                    w*x + b ≥ 0                         w*x + b ≤ 0

                                y＝1                                     y＝0

• 决策边界 :

  z = w*x+b = 0

2. 逻辑回归的代价函数

平方代价函数会造成函数不凸，下降无法收敛到最小值，不适用。

(1) 损失函数与代价函数

损失函数：

代价函数：

(2) 损失函数与代价函数的简化版本

3. 梯度下降

目标：找到合适的参数 w, b

优化梯度下降的方法对于逻辑回归依然适用。