吴恩达机器学习第6-7章

吴恩达机器学习第6-7章

由于第5章主要讲的是Octave的语法，但现在我们主要用的都是python来进行AI编程。所以第五章我们就不总结了，感兴趣的朋友可以去看看。

第6章

6-1 分类

分类在现实生活中运用到的地方非常多，比如垃圾邮件分类、网络欺诈、肿瘤的预测。正类一般表示为1，负类一般表示为0.当然，多分类问题的话会有0，1，2，3等的标记，

对于肿瘤的预测，如果预测函数的结果大于0.5，则我们预测为正类，相反则为负类。

有时候我们的预测算法可能的结果会大于1或者小于0，这显然是有点怪的。所以之后我们会讲解一个logistic回归算法，使预测结果在0到1之间（虽然名字中带有回归，但这个算法使一个分类算法）

6-2 假设陈述

logistic函数定义如下（一般认为logistic函数就等于sigmoid函数）：

我们可以带入一个简单的肿瘤例子中

6-3 决策边界

在logistic回归中，当预测大于0.5时，我们就认为是正类，反之就是负类。我们通过观察函数图形就可以知道，当z大于0时，预测结果大于0.5，当z小于0时，预测结果小于0.5。。

在下图中，我们做出预测函数，并且得知当-3+x1+x2>=0时，y等于1，在-3+x1+x2<=0时，y=2.所以我们可以得知决策边界为x1+x2=3。

在另外一个例子中，我们可以添加更高阶的项。我们令θ0=-1，θ1=0，θ2=0，θ3=1，θ=1。可以得知决策边界为x1的平方加x2的平方等于1。

6-4 代价函数

在之前中，我们介绍过代价函数，这里我们用一个比较新的标记-
cost。当预测值和真实值不一样时，我们希望函数能付出代价。
在使用梯度下降后，我们就能保证函数能收敛。

我们对代价函数的定义如下：

可以得到与预测函数的关系。若y=1而预测函数=1，则cost=0；
但如果预测函数为0时，cost会趋近于无穷大。

6-5 简化代价函数与梯度下降

这节我们用简单的代价函数来与梯度下降结合起来，来实现完整的logistic回归算法。
首先再次列出代价函数

为了拟合曲线，我们需要将代价函数的值收敛。

之后我们运用梯度下降算法，来拟合曲线，找到最小的θ值。

6-6 高级优化

有一些比较优秀的算法，他们能够更好的使函数达到收敛状态。他们的优缺点如下。剩下这节课的话，老师就在建议，我们尽量不要去实现底层算法，反复造轮子，更够理解理论和调库就完事，

6-7 多元分类：一对多

这节课我们讨论一个如何用逻辑回归来解决多分类问题。在实际生活中，多分类的问题使很常见的，如天气情况。
对于多分类的问题，例如三分类，我们可讲某一类定义为第一类，然后将其他两类定义为第二类，进行分类。如此反复进行三次，则可以达到完成三分类的问题。

第7章

7-1 过拟合问题

当算法很好的拟合一条直线的时候，及完美的通过了所有的函数点，这就是过拟合。但这似乎不是一个很好的现象，因为变量过多的时候，代价函数就可能接近0，但却无法泛化到新的样本点，及无法很好的预测。相反欠拟合就是根本没有预测能力，连训练点也无法进行训练。
下图中第一个为欠拟合，第二个刚好，第三个则是过拟合。

欠拟合发生时，我们有两种办法。一使我们可以减少选取变量的数量，即删除一些特征变量。第二个方法则是变量正则化， 缩小一些参数的值。

7-2 正则化相关的代价函数

我们为代价函数加一个误差值，来减少过拟合的可能。

例如在房屋预测中，若样本有100个特征值，我们就可以为代价函数添加正则化。

7-3 线性回归正则化

对于线性回归，我们之前推导了两种算法，一种基于梯度下降，另一种是基于正规方程。这个我们把这两种算法推广到正则化线性回归中。
这是增加了正则化的代价函数

这是没有加正则化的梯度下降函数

现在我们增加正则化项

对于正规方程，我们也可以加入正则化项，有一个比较有趣的现象，当加入正则化后，那么那个举证会是可逆的。