【机器学习】003_线性回归模型Part.2_理论过程(2)

一、成本函数——衡量拟合程度

成本函数：衡量模型预测与  的真实值之间的差异。

在线性回归模型中，对误差值进行预估：   (error)

由此，构建出一个对误差值进行评估的成本函数（平方误差成本函数）：

                                                        

其中， 表示训练数据的数据个数。

其中， 表示函数对某个训练数据的预测值。

因此，该成本函数也可以重写为：

                                        ​​​​​​​        ​​​​​​​  

※ 针对不同的应用程序，成本函数也有所不同，但平方误差成本函数是迄今为止线性回归最常用的函数。

要想使得最终的预测结果更精确，应该找到使函数更小的  的值，即：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

设置  ，仅对  的值进行分析：

        ​​​​​​​        

如上图所示，绘制  关于  的函数示意图，我们会发现：使  的值越小的  值更能让预测函数更好地与训练数据拟合。通常地，一般取  函数的最小值点（极小值点），也就是斜率等于0的点所对应的  值。

对  和  的值同时进行分析：

        ​​​​​​​        

对二元复合函数来说，可以用3D图的形式呈现出它的效果↑：

        ​​​​​​​        

但还有另外一种方式去表现  的值随  的变化而不需要3D化的呈现。那就是利用等高线图——最低点就在等高线图中线最密集的地方，这里代表  的值最小。

当然，在后续训练模型的过程中，不必借助图像去手动寻找  最合理的数值，而是可以编写算法去找到它们——直接算出使成本函数  最小的  的值。

这种找到  的最合适的值算法，也就是梯度下降和梯度下降的变体算法。

二、线性回归的简化模型样例

线性模型：

· 给定一个n维输入： 

` 线性模型有一个n维权重参数和一个标量偏差参数：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

` 输出是输入的加权和：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

样例假设：

· 假设1：影响房价的关键因素是卧室个数、卫生间个数、居住面积，记为  .

` 假设2：成交价格是关键因素的加权和：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

权重和偏差的实际值在后面决定。

衡量预估质量：

· 比较真实值和预估值，例如房屋售价和估价。

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

这个叫做平方损失（ 的处理是为了之后求导消去平方的方便）。

训练数据：

· 收集一些数据点来决定参数值（权重与偏差），例如过去6个月卖的房子。

· 假定我们有n个样本，记：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​      

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​      

参数学习：

· 训练损失（损失函数）：

        ​​​​​​​        ​​​​​​​     

· 最小化损失函数来学习参数：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​     

显示最优解，找到最优的  值（线性回归模型较为简单，因此可以显示解）。

三、总结

1. 线性回归是对n维输入的加权，外加偏差。

2. 使用平方损失来衡量预测值和真实值的差异。

3. 线性回归模型可以看作一个单层神经网络。