吴恩达机器学习Day-4（自用版）

3.3代价函数公式             

1.回想：

Model：f（x）=wx+b         

①w，b被称作：

模型的参数/系数/权重（parameters/coefficients/weights)，模型的参数可以在训练期间调整以改进模型的变量。

②w，b的作用：

根据选择不同的w，b —> 会得到不同的函数f —> 会在图形上生成不同的线

③对于给定的输入值xi，yhat^代表输出的预测值，yi代表实际值

2.如何衡量一条直线的拟合程度：

成本函数cost function/Squared error cost function

①成本函数的推导过程：

首先，yhat^-y，这种差异成为误差error，是预测与目标减的距离

error=（yhat^-yi）

接下来计算训练集中不同的训练实例i的误差的平方和——>为了构建一个不会随着训练集大小而变大的成本函数，我们将计算平均平方误差，而机器学习中的成本函数实际上是除以2m（为了让后面的一些计算看起来更加整洁）

②成本函数（平方误差函数）最终公式：

J（w，b）=

J：是指成本函数

③补充：

在机器学习中，不同的人会针对不同的应用程序使用不同的成本函数，但平方误差函数是迄今为止线性回归最常用的函数，最终我们要找到使成本函数变小的w和b值

（代价函数一共有两种写法）

3.4理解代价函数

1.回顾

2.将上述模型简化，可以理解为令参数b=0：

现在使用这个简化模型，看看为参数w选择不同值时成本函数如何变化。

3.观察f（x）和J（w）的关系：

①f（x）：当参数w固定不变，f（x）只是x的函数==y的估计值取决于x的输入值

②J（w）：J是w的函数，由w控制f（w）直线的斜率

③下面是一个实例，当w=1时，注意J（w）图中变量为w（x轴），y轴为J（w）

④当w=0.5时：

⑤当w=0时：

⑥最终J的样子:

对于给定训练集，对w的选择代表图表上的单个点

4.总结：

J是衡量平方误差有多大的成本函数，因此选择最小化这些平方误差的w，使他们尽可能小，才能为我们提供一个好的模型