3.3代价函数公式
1.回想:
Model:f(x)=wx+b
①w,b被称作:
模型的参数/系数/权重(parameters/coefficients/weights),模型的参数可以在训练期间调整以改进模型的变量。
②w,b的作用:
根据选择不同的w,b —> 会得到不同的函数f —> 会在图形上生成不同的线
③对于给定的输入值xi,yhat^代表输出的预测值,yi代表实际值
2.如何衡量一条直线的拟合程度:
成本函数cost function/Squared error cost function
①成本函数的推导过程:
首先,yhat^-y,这种差异成为误差error,是预测与目标减的距离
error=(yhat^-yi)
接下来计算训练集中不同的训练实例i的误差的平方和——>为了构建一个不会随着训练集大小而变大的成本函数,我们将计算平均平方误差,而机器学习中的成本函数实际上是除以2m(为了让后面的一些计算看起来更加整洁)
②成本函数(平方误差函数)最终公式:
J(w,b)=
J:是指成本函数
③补充:
在机器学习中,不同的人会针对不同的应用程序使用不同的成本函数,但平方误差函数是迄今为止线性回归最常用的函数,最终我们要找到使成本函数变小的w和b值
(代价函数一共有两种写法)
3.4理解代价函数
1.回顾
2.将上述模型简化,可以理解为令参数b=0:
现在使用这个简化模型,看看为参数w选择不同值时成本函数如何变化。
3.观察f(x)和J(w)的关系:
①f(x):当参数w固定不变,f(x)只是x的函数==y的估计值取决于x的输入值
②J(w):J是w的函数,由w控制f(w)直线的斜率
③下面是一个实例,当w=1时,注意J(w)图中变量为w(x轴),y轴为J(w)
④当w=0.5时:
⑤当w=0时:
⑥最终J的样子:
对于给定训练集,对w的选择代表图表上的单个点
4.总结:
J是衡量平方误差有多大的成本函数,因此选择最小化这些平方误差的w,使他们尽可能小,才能为我们提供一个好的模型