机器学习_吴恩达_week3（LR）

目录

一、逻辑回归

1.1 分类问题

1.2 模型函数

1.3 决策边界

1.4 代价函数

1.5 简化的代价函数与梯度下降

1.6 高级优化

1.7 多元分类：一对多

二、正则化

2.1 过拟合问题

2.2 代价函数

2.3 正则化的线性回归

2.4 正则化的逻辑回归

---

一、逻辑回归

LR（Logistic Regression）是最流行最广泛的一种分类算法。

1.1 分类问题

先来看一下线性回归做分类问题

这次似乎看起来，线性回归可以解决分类问题，但是。。。

我们新加入最右侧一个点，拟合函数是蓝线，0.5的阈值就不合适了，应该小于0.5。不建议用线性回归做分类。

不建议用线性回归做分类的另一个原因是：线性回归的输出可能远大于1，可能远小于0，而逻辑回归输出压缩在[0, 1].

1.2 模型函数

一句话总结：

• LR的模型函数是：
• LR模型函数解释：y=1 (正例) 时的概率

1.3 决策边界

决策边界，它能更好地帮助我们理解逻辑回归的模型函数在计算什么。

一句话总结：

• 决策边界其实就是，训练出来的确定参数的模型函数=0时的函数曲线。该函数曲线>=0部分预测y=1, 函数曲线<0部分预测y=0.
• 它是模型函数的属性，由参数决定。一旦参数确定了，决策边界也就确定了

1.4 代价函数

逻辑回归的均方误差代价函数具有非凸性（多个极小值），不适合运用梯度下降求解参数，所以我们需要寻找适合逻辑回归的代价函数。

一句话总结：
逻辑回归的代价函数是：，其中：