吴恩达机器学习视频课提纲+随堂选择练习题——week6逻辑回归&week7正则化

---

前言

本文对吴恩达机器学习视频第6周和第7周的课程进行归纳总结。

一、WEEK6

本节内容主要介绍逻辑回归问题

6 - 1 - Classification

本章节先介绍分类任务的概念。

前面讲的线性回归主要针对回归问题，再来回顾一下回归，回归要解决的是预测问题，预测的是一个连续的值。比如预测房价。而本节所讲的分类问题要预测的变量是一个离散的值。在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。最简单的分类问题是二分类问题，即二选一。

6 - 2 - Hypothesis Representation

本节主要介绍分类任务的假设函数

在线性回归中，我们的假设函数是：

那么在分类问题中，假设函数又是什么呢？如果简单的套用线性回归的假设函数，其输出最后可能不是一个区间内的值，因为我们要进行分类通常设置一个阈值，输出大于这个阈值判断为一个结果，输出小于这个阈值判断为另一个结果，通常我们将分类的结果映射到[0,1]之间，阈值取零点几。显然，线性回归预测值会超越[0,1]，不适用于解决分类问题。

要解决分类问题，就需要一个新的模型，这个模型叫逻辑回归，这个模型的输出范围始终在[0,1]。他的假设函数形式是这样的：

括号里那部分是不是有点眼熟？没错，括号里就是我们线性回归的假设函数，我们知道，线性回归的假设函数是一条直线，在分类问题中，既然要分类，那么类别之间肯定就会有一条分界线，对于二分类问题，我们假设它的分类边界是一条直线（不要问我为啥，逻辑回归就是假设边界是一条直线的二分类模型），这条边界我们借用线性回归的假设函数来表示，这也是为什么逻辑回归明明解决分类问题却非要带一个“回归”的原因，因为它的分类边界借用了回归的假设函数呀!

然后我们来看一下外面那一层函数g()是什么。g是逻辑函数logistic function，它是一个s形的函数，公式为：

该函数的图像：

通过逻辑函数，将输出映射到[0,1]。

6 - 3 - Decision Boundary

本章节主要介绍决策边界的概念
说白了就是分类的分界线，简单点的可能一条直线就能分开，难一点可能是曲线。

6 - 4 - Cost Function

本节主要介绍逻辑回归的损失函数

前面介绍了逻辑回归的任务，逻辑回归的假设函数，那么怎么确定假设函数的参数呢？

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。

理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，将逻辑回归的假设函数代入的得到的是一个非凸函数，这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。

事实上，定义逻辑回归的代价函数为：

为什么这样定义代价函数呢？当实际的 y=1 且h (x)也为 1 时误差为 0，当 y=1 但h (x)不为1时误差随着h (x)变小而变大；当实际的 y=0 且h(x)也为 0 时代价为 0，当y=0 但h (x)不为 0时误差随着 h (x)的变大而变大。

在得到这样一个代价函数以后，我们便可以用梯度下降算法来求得能使代价函数最小的参数了，参数更新公式一样的：

6 - 5 - Simplified Cost Function and Gradient Descent

本节主要讲简化的代价函数和逻辑回归的梯度下降

上一节给出了逻辑回归的代价函数：

而这个cost function可以合并为如下形式：

最终逻辑回归的代价函数写作：

我们的优化目标还是那个，找到让J(θ)最小的参数θ。

而最小化的方式就是梯度下降。（这些跟线性回归是一个思路，唯一不同的是代价函数和假设函数的形式不一）
参数更新的思想也是一样的：

需要注意的是，即使更新参数的规则看起来基本相同，但由于假设的定义发生了变化，所以逻辑函数的梯度下降，跟线性回归的梯度下降实际上是两个完全不同的东西。而线性回归中提到的学习率的影响，特征缩放的影响，在逻辑回归中也是一样的原理，也适用于逻辑回归的梯度下降。

6 - 6 - Advanced Optimization

涉及梯度下降之外的优化代价函数方法，不太用，略。

6 - 7 - Multiclass Classification_ One-vs-all

本节主要介绍多分类问题。
前面讲解逻辑回归都是围绕的简单的二分裂问题，显然分类问题不可能只有二分类，还有三分类、四分类等多分类问题。如果想用逻辑回归解决多分类问题，需要用到"一对多" (one-vs-all) 的分类算法。

左图为二分类，右图为三分类，二分类没什么好说的了。多分类就是一对余的思想，把一类和剩下的其他类看做两大类，这样进行分类。

但是这样会有一个问题，就是你又多少类，就需要训练多少个模型。如果来了一个新的样本，在每个模型中预测一下，输出最好的那个结果。比如这个例子有三类，我们训练了三个针对判别三角、方块、叉号的分类器，新的输入x在三个分类器中输入，选max predict

WEEK6 课后习题

第1题
假设您已经训练了一个逻辑分类器，它在一个新示例x上输出一个预测h(x)=0.4,这意味着（选出所有正确项）：

答案： CD

第2题
假设您有以下训练集，并拟合logistic回归分类器



答案：AB.
D肯定不对，逻辑回归的输出在[0,1]。添加多项式特征通常是为了更好的拟合数据，更好的拟合了代价函数肯定会下降，所以C不对。

第3题
对于逻辑回归，以下哪项是学习率为α的逻辑回归的正确梯度下降更新？选出所有正确项

答案：BD

第4题
以下哪项陈述是正确的？选出所有正确项

答案：BC

第5题

假设训练一个逻辑回归分类器：

假设θ0=6，θ1=-1，θ2=0，以下那个图表示分类器找到的决策边界？

答案：代入参数，h=g(6-x1),当x1=6时，h=g(o),联想一下sigmoid函数的图像，零点处取值为0.5，刚好是阈值，CD不对。当x<6时，h>0.5,选B

二、WEEK7

7 - 1 - The Problem of Overfitting

本节主要介绍过拟合的概念

什么是过拟合？在训练集上表现好，在测试集上表现差。如下图，同样的数据集，从左到右拟合的越来越好，但是如果来了一个新的数据，第三张图上的曲线可能没法经过这个新的数据点，导师测试效果很差。

分类问题同理：

以多项式理解，x 的次数越高，拟合的越好，但相应的预测的能力就可能变差。
而过拟合在数学上的表示主要看偏差和方差，
偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据；方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散。
Bias：误差，对象是单个模型，期望输出与真实标记的差别；Variance：方差，对象是多个模型
过拟合的偏差低，方差高。

7 - 2 - Cost Function

本节主要介绍从代价函数入手如何解决过拟合问题。介绍了正则化的基本思想。

从上一小节的几张图可以看出，模型的次数越高（对应假设函数），模型越复杂，拟合能力越强，但是也越容易过拟合。正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于0的话，我们就能很好的拟合了。在一定程度上减小这些参数θ 的值，就是正则化的基本思想：修改代价函数，给高阶参数设置惩罚。
例如过拟合的回归模型是这样的：

显然模型的参数3,4的次方高，有过拟合的风险，那么在代价函数中就要给他们增加惩罚项；

假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的能防止过拟合问题的假设:

其中，λ是正则化参数，需要注意的是，θ0不进行惩罚。讨论一下λ取值的影响，如果取值很大，会导致模型过度惩罚，参数都尽量最小化，造成欠拟合。因为我们的目的是最小化J（θ），在其后面加了λ约束，如果λ很大，最小化的过程中为了使代价函数尽可能的小，θ也会尽可能的小，甚至趋于0，这样我们的假设函数就会变成h(x)=θ0,一条平行于x轴的直线。

再次强调，θ0不参与正则化！！！

week7课后习题

第1题

你正在训练一个分类逻辑回归模型。以下哪项陈述是正确的？选出所有正确项

答案：A不对，是为了不要在训练集上拟合的那么完美，所以性能肯定不会更好
B对，解决过拟合的一个手段就是增加有效样本以学习更多的有效特征，减少噪声影响
C太绝对了。

第2题

答案：A .正则化是为了减小参数的

第3题

以下关于正则化的陈述哪一个是正确的？选出所有正确项

答案：C

第4题

下列哪一个图片的假设与训练集过拟合？

答案：A