【含课程pdf & 测验答案】吴恩达-机器学习公开课 学习笔记 Week1-2 Model and Cost Fuction

1-2 Model and Cost Fuction课程内容

此文为Week1 中Model and Cost Fuction的部分。

1-2-1 Model Representation

单变量线性回归

eg1 预测住房价格
我们要使用一个数据集——包含俄勒冈州波特兰市的住房价格。在这里我要根据不同房屋尺寸所售出的价格，画出我的数据集。
比方说，我们来看这个数据集。你有一个朋友正想出售自己的房子，如果你朋友的房子是1250平方尺大小。你要告诉他们，这房子能卖多少钱，那么你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以告诉你的朋友他能以大约220000(美元)左右的价格卖掉这个房子。

• 它被称作监督学习是因为对于每个数据来说 我们给出了 “正确的答案”。
• 这是一个回归问题，回归一词指的是我们根据之前的数据预测出一个准确的输出值。
• 同时，还有另一种最常见的监督学习方式，叫做分类问题——当我们想要预测离散的输出值。

更进一步来说，在监督学习中我们有一个数据集，这个数据集被称训练集。因此对于房价的例子，我们有一个训练集——包含不同的房屋价格，我们的任务就是从这个数据中学习预测房屋价格。

这里会用到一些经常使用的一些符号定义：

m——训练样本的数目。 因此，在这个数据集中，如果表中有47行那么我们就有47组训练样本，m就等于47。
x——输入变量，往往也被称为特征量。 即表中的第一列。
y——输出变量或者目标变量，也就是预测结果。 那么这就是第二列。
(x, y)——一个训练样本。 所以，在这个表格中的单独的一行对应于一个训​​练样本。为了表示某个训练样本，我将使用x上标(i)与y上标(i)来表示。

简单测试

监督学习算法的工作方式

我们可以看到这里有我们的训练集里房屋价格，我们把它交给我们的学习算法。这就是学习算法的工作了。然后输出一个函数，按照惯例 通常表示为h，h代表hypothesis(假设)。h表示一个函数，输入是房屋尺寸大小，就像你朋友想出售的房屋。因此 h 根据输入的 x 值来得出 y 值，y值对应房子的价格。因此h是一个从x到y的函数映射。

当设计学习算法的时候，我们接下来需要去思考的是——怎样得到这个假设h。

我将选择最初的使用规则，h代表hypothesis。我们把h写成hθ(x)=θ₀+θ₁x 。有时候简单起见，hθ(x) 我就写成h(x)。从这个图片中，这一切意味着我们要预测一个关于x的线性函数 y 。所以这就是数据集和函数的作用——预测。这里是y关于x的线性函数 hθ(x)=θ₀+θ₁x。

我们会有更复杂的函数，也许是非线性函数。但是，由于线性方程是简单的形式，我们将先从线性方程的例子入手，当然，最终我们将会建立更复杂的模型，以及更复杂的学习算法。

这个模型被称为线性回归(linear regression)模型。 另外，这实际上是关于单个变量的线性回归。这个变量就是x，根据x来预测所有的价格函数。同时，对于这种模型有另外一个名称——称作单变量线性回归 。单变量是对一个变量的一种特别的表述方式。总而言之，这就是线性回归。

1-2-2 Cost Function

这一节我们将定义代价函数的概念。

在线性回归中我们有一个像下图这样的训练集。记住 M代表了训练样本的数量 所以 比如 M = 47。hθ(x)=θ₀+θ₁x就是用来进行预测的函数，这些θi我把它们称为模型参数。我们要做的就是谈谈如何选择这两个参数值θ0和θ1。

我们要做的就是得出θ0 θ1这两个参数的值，来让假设函数表示的直线，尽量地与这些数据点很好的拟合。也许就像这里的这条线一样。那么我们如何得出θ0 θ1的值来使它很好地拟合数据的呢？我们的想法是我们要选择能使h(x) 也就是输入x时我们预测的值最接近该样本对应的y值的参数θ0 θ1。

在线性回归中，我们要解决的是一个最小化问题。 我要做的事情是尽量减少假设的输出与房子真实价格之间的差的平方。

( x(i),y(i) ) 代表第i个样本，m指的是训练集的样本容量

我们想要做的就是关于θ0和θ1 对函数J(θ0,θ1)求最小值。

因此，简单地说，我们正在把这个问题变成——找到能使我的训练集中预测值和真实值的差的平方的和的1/2M最小的θ0和θ1的值。因此，这将是我的线性回归的整体目标函数：

代价函数也被称作平方误差函数 有时也被称为平方误差代价函数。

为什么我们要使用平方？
结果表明，这些平方差代价函数是一个合理的选择 ，用于大多数的回归程序和问题。当然，还有其它工作得相当好的代价函数，但是这个平方差代价函数或许是回归问题中最常使用的一个。

简单理解为什么用平方以及为什么除二？
将实际点与预测点的距离最小化，即min【（x-x）²+（y-y）²】。第一项始终为0。
求导后，平方会产生一个常数2，当原函数除二时，抵消求导后常数

1-2-3 Cost Function - Intuition I

首先，我们简化这个函数，即 θ0 设为0，试着更好地理解代价函数这个概念。

我们要正确理解假设函数和代价函数。

注意这个假设函数 h(x) 对于一个固定的 θ1，这是一个关于 x 的函数。所以这个假设函数就是一个关于 x 这个房子大小的函数。与此不同的是，代价函数 J 是一个关于参数 θ1 的函数，而 θ1 控制着这条直线的斜率。

下图是当 θ1=1时，计算J( θ1)的值

下图是当 θ1=0.5时，计算J( θ1)的值

我们可以得到J（ θ1）

让 J(θ1) 最小化的值是 θ1 等于1。然后这个确实就对应着最佳的通过了数据点的拟合直线，这条直线就是由 θ1=1 的设定而得到的。然后对于这个特定的训练样本，我们最后能够完美地拟合。这就是为什么最小化 J(θ1) 对应着寻找一个最佳拟合直线的目标。

1-2-4 Cost Function - Intuition II

当只有一个参数θ1的时候，我们画出来是这样一个弓形函数。而现在我们有了两个参数 那么代价函数，仍然呈现类似的某种弓形。

为了描述方便，将不再像这样用三维曲面图的方式解释代价函数J，而还是用轮廓图来表示。

课程链接

https://www.coursera.org/learn/machine-learning/home/week/1