【吴恩达机器学习笔记】代价函数（一）

目录

前言

一、单变量线性回归问题

二、建模误差

三、代价函数

平方和误差函数:

平均平方和误差:

代价函数：

四、直观理解代价函数一

五、直观理解代价函数二

三维图像:

等高线图：

总结

---

前言

本栏目主要记录吴恩达老师的《机器学习》课程的学习笔记。本章学习代价函数相关知识。

---

一、单变量线性回归问题

首先先看一个例子，假设我们需要使用一个包含房屋尺寸与售卖价格数据集，来预测房屋的售价。我们首先要构建一个模型来预测，这里我们假设是最基础的线性情况，那么表示如下：

 

 

 

 

这就是监督学习算法一个例子。 

这里因为只有1个特征/输入变量，所以预测函数可以是ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥，这种问题就称为单变量线性回归问题。

二、建模误差

接下来我们就需要为模型选择合适的参数，在房价问题这个例子中便是直线的斜率和在𝑦 轴上的截距。

我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（ modeling error）。

 

我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。，即使得代价函数最小。

三、代价函数

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。

平方和误差函数:

 

 

代表预测的第i个值，代表实际的第i个值。

平均平方和误差:

为了计算方便，又引出平均平方和误差概念。

之所以是​,一是为了求平均，二是因为带了平方，后面要用梯度下降法，要求导，这样求导多出的乘2就和二分之一抵消了，一个简化后面计算的技巧

代价函数：

我们把上述函数称为代价函数，我们求得就是使这个值最小的和。

四、直观理解代价函数一

可以通过自行赋值，画出代价函数的图像来理解。

这里我们先假设=0，通过为赋不同的值，画出图像。

五、直观理解代价函数二

这里保留和，利用软件绘制出三维函数图与等高线图。

三维图像:

等高线图：

---

总结

参考链接：https://blog.csdn.net/xd15010130025/article/details/88707895