一、成本函数——衡量拟合程度
成本函数:衡量模型预测与
的真实值之间的差异。
在线性回归模型中,对误差值进行预估: (error)
由此,构建出一个对误差值进行评估的成本函数(平方误差成本函数):
其中, 表示训练数据的数据个数。
其中, 表示函数对某个训练数据的预测值。
因此,该成本函数也可以重写为:
※ 针对不同的应用程序,成本函数也有所不同,但平方误差成本函数是迄今为止线性回归最常用的函数。
要想使得最终的预测结果更精确,应该找到使函数更小的 的值,即:
设置 ,仅对
的值进行分析:
如上图所示,绘制 关于
的函数示意图,我们会发现:使
的值越小的
值更能让预测函数更好地与训练数据拟合。通常地,一般取
函数的最小值点(极小值点),也就是斜率等于0的点所对应的
值。
对 和
的值同时进行分析:
对二元复合函数来说,可以用3D图的形式呈现出它的效果↑:
但还有另外一种方式去表现 的值随
的变化而不需要3D化的呈现。那就是利用等高线图——最低点就在等高线图中线最密集的地方,这里代表
的值最小。
当然,在后续训练模型的过程中,不必借助图像去手动寻找 最合理的数值,而是可以编写算法去找到它们——直接算出使成本函数
最小的
的值。
这种找到 的最合适的值算法,也就是梯度下降和梯度下降的变体算法。
二、线性回归的简化模型样例
线性模型:
· 给定一个n维输入:
` 线性模型有一个n维权重参数和一个标量偏差参数:
` 输出是输入的加权和:
样例假设:
· 假设1:影响房价的关键因素是卧室个数、卫生间个数、居住面积,记为 .
` 假设2:成交价格是关键因素的加权和:
权重和偏差的实际值在后面决定。
衡量预估质量:
· 比较真实值和预估值,例如房屋售价和估价。
这个叫做平方损失( 的处理是为了之后求导消去平方的方便)。
训练数据:
· 收集一些数据点来决定参数值(权重与偏差),例如过去6个月卖的房子。
· 假定我们有n个样本,记:
参数学习:
· 训练损失(损失函数):
· 最小化损失函数来学习参数:
显示最优解,找到最优的 值(线性回归模型较为简单,因此可以显示解)。
三、总结
1. 线性回归是对n维输入的加权,外加偏差。
2. 使用平方损失来衡量预测值和真实值的差异。
3. 线性回归模型可以看作一个单层神经网络。