吴恩达机器学习第1-2章

吴恩达机器学习第1-2章课后总结。

1-1欢迎参加《机器学习》课程

大致的介绍了一下什么是机器学习，并且机器学习在生活中的应用。
机器学习：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。通过学习来不断的改善自己的性能。
机器学习在生活中的应用：数据挖掘、无法编程完成的应用程序（如无人飞机、手写识别等）、私人定制程序（如推荐程序等）

1-2什么是机器学习？

现在机器学习比较正规的定义为：计算机程序从经验E中学习，解决某一任务T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高。如对于跳棋游戏来说，经验E就是程序与自己下几万次跳棋，任务T就是玩跳棋，性能度量P就是与新对手玩跳棋时赢的概率。

1-3监督学习

课中，根据一个房价预测的例子来讲解什么是监督学习：我们给一个算法一个数据集，其中包含的正确答案。算法的目的就是给出更多的正确答案。
监督学习分为称为回归问题和分类问题。
回归问题是用一条曲线拟合（x，y），使误差最小。分类问题是预测离散值的输出，进行分类。从而我们可以知道，若是连续曲线则是回归问题，若是离散数值则是分类问题。

1-4无监督学习

在无监督学习中我们所用的数据和监督学习不同，没有任何标签，我们不知道数据集中的每个数据的意义，无监督学习就是将数据集进行分类。这就是聚类算法。其中的例子就如谷歌新闻，谷歌新闻就是将搜集到的新闻分类成各种专题等
其中最有意思的例子为鸡尾酒会算法，两个或者多个人使用同一个话筒，通过机器学习，将他们的声音分离出来。

2-1模型描述

2-1的视频中，通过讲解线性回归房价的例子，来讲解监督学习中模型的描述过程。通过特征值的输入，来预测出房价的价值。

2-2代价函数

代价函数（也称为平方误差函数）的作用是弄清楚如何把最有可能的直线与我们的数据相拟合。为了使我们输入后预测出来的值更加的接近真实值，我们要是预测函数中的参数更小。

h（x）是我们的预测函数，而代价函数会了使求导之后方便运算，便在前面乘了一个1/2.

2-3代价函数（一）

这节讲了代价函数在简单例子中的运用，来感受它的作用。

我们令theta1为1，theta0为0，则可拟合出下面的直线，它的代价函数的值为0.

我们再假设一次，令theta1为0.5，theta0为0
，则可拟合出下面的直线，并且代价函数值约等于0.58

我们令theta1为0，theta0为0，则拟合在直线为水平线，并且代价函数约等于2.3

我们也可以为theta1赋予各种各样的值，那么它的代价函数的图形则如下所示。我们学习算法的优化目标就是为了是代价函数的值最低。则是下图中theta1取1的时候。

2-4代价函数（二）

若theta1和theta0都可以变动，那么代价函数的图形就类似这个碗状图形。

每个椭圆的等高线，就表示了theta1和theta0相等的点，通过取各种各样的theta1和theta0，来更好的拟合函数。

2-5梯度下降

梯度下降时为了将代价函数J最小化，梯度下降法是一个很常用的方法，广泛用于机器学习的众多领域。
问题描述如下，Outline为梯度下降的步骤。

代价函数和theta0、theta1的图形如下。
把图形想象成一座山峰，找到一条下山最快的方向。

下图为梯度下降算法的定义。我们要反复的做这一步，直到收敛。α称为学习率，用来控制梯度下降时，我们迈多大的步子。α更多的细节在之后的章节会继续讲解。theta0和theta1要同时更新，这个非常重要

2-6梯度下降知识点总结

这节主要讲解梯度下降中α和导数项。

α如果太小，则要一点点的挪动，会花费很长的时间才能到达全局最低点。

α如果太大，则很有可能导致无法收敛或者发散，如下图所示。

当到达收敛点时，梯度下降的下一步将不会改变theta的值。

2-7线性回归的梯度下降

这节讲解梯度下降和代价函数结合得到线性回归的算法。

这是之前学习到的梯度下降算法和线性回归模型。

将导数项展开如下。

不同参数的偏导数如下。

将各个参数的导数项带入梯度下降算法中（注意theta1和theta0同时更新）。

通过不断的梯度下降算法，调整参数，最后得到拟合的曲线