吴恩达MachineLearning-Week3

原笔记网址：https://scruel.gitee.io/ml-andrewng-notes/week1.html

红色字体为自己的标注、绿色字体为自己的感想。

目录

6 逻辑回归(Logistic Regression)

• 6.1 分类(Classification)
• 6.2 假设函数表示(Hypothesis Representation)
• 6.3 决策边界(Decision Boundary)
• 6.4 代价函数(Cost Function)
• 6.5 简化的成本函数和梯度下降(Simplified Cost Function and Gradient Descent)
• 6.6 进阶优化(Advanced Optimization)
• 6.7 多类别分类: 一对多(Multiclass Classification: One-vs-all)

7 正则化(Regularization)

• 7.1 过拟合问题(The Problem of Overfitting)
• 7.2 代价函数(Cost Function)
• 7.3 线性回归正则化(Regularized Linear Regression)
• 7.4 逻辑回归正则化(Regularized Logistic Regression)

6 逻辑回归(Logistic Regression)

6.1 分类(Classification)

回顾一下，在监督学习中，有两种问题解决类型，分别是：回归与分类。对于结果为连续值的，我们使用回归算法。对于结果为离散型的，我们使用分类方法。

在分类问题中，预测的结果是离散值（结果是否属于某一类），逻辑回归算法(Logistic Regression)被用于解决这类分类问题。

• 垃圾邮件判断
• 金融欺诈判断
• 肿瘤诊断

我们不妨用肿瘤诊断举例，假设用线性回归的方法进行预测。用一条直线将y值划分。当y大于等于a时，y值为1；当y小于a时，y值为0.（0<=a<=1）可以发现，根本无法模拟得到理想的结果。因此，对于离散y值，我们不能采用线性回归的方法，于是考虑引入新的概念：分类。

区别于线性回归算法，逻辑回归算法是一个分类算法，其输出值永远在 0 到 1 之间。虽然名字中有回归两字，但那只是历史原因，仍然属于分类算法。

6.2 假设函数表示(Hypothesis Representation)

6.3 决策边界(Decision Boundary)

决策边界的概念，可帮助我们更好地理解逻辑回归模型的拟合原理。

回忆一下 sigmoid 函数的图像：