机器学习--最小二乘法，最大似然估计，最大后验估计之间的关系，Precision(查准率)

对最小二乘法（Least Square）、最大似然估计（ Maximum Likelihood Estimation）和最大后验估计之间的关系的整理。

一、最小二乘法

最小二乘法的本质就是找到一个估计值，使实际值与估计值的距离最小。而为了度量最小距离，只要使实际值与估计值之差的平方最小就好，下面就是最小二乘的表达式损失函数cost function，我们的目标就是求θ。

求解方法是通过梯度下降算法，通过训练数据不断迭代得到最终的值。

最小二乘的主要应用场景为回归分析，因为回归常用平方损失作为损失函数。

二，最大似然估计

1、似然函数的引出

我们从概率的角度考虑一下最小二乘求解原理，假设目标变量y和输入x的关系如下：

其中ε为误差项，假设服从正态分布，均值为0，标准差为σ，可以写成

我们带入上面的关系方程得到y的概率方程：