最小二乘法与代价函数

最小二乘法：又称作最小平方法，它通过最小化误差的平方和寻找数据的最佳函数匹配。可以用于曲线拟合，解决一些优化问题。

公式：

如何计算？（以预测函数为过原地的函数举例）

将所有点，（预测值-真实值）的平方相加，再求均值。

代价函数：又叫损失函数。用于描述预测模型与真实数据，之间的偏差。损失，顾名思义，与真实值相比，损失了或者偏差了多少，其值越小， 模型越拟合真实值。（这里以过原点的预测函数举例）

 画红线的部分就为，过原点这个预测函数的代价函数。可以看出，它是一个二次函数，所以当代价函数取最低点时，此时误差最小，w的取值就为预测函数的最佳取值，拟合程度就越高。

这里的代价函数时二次函数，很多时候代价函数是一个抛物面，以及超平面等等。

 总结： 机器学习的目标就是找到代价函数的最小值来实现对数据的最优拟合。

视频：【线性回归、代价函数、损失函数】动画理解，发财致富_哔哩哔哩_bilibili