对于数据拟合而言,误差来源于数据的随机性,也就是说,我们的训练数据是带有噪声的,现在假设,噪声服从高斯分布, 所以有
令
所以条件概率
。 假设样本数独立同分布的,使用最大似然估计MLE,
, 将各个样本带入,并展开,消去一些与W优化无关的项,便可以得到
就转化成了最小二乘最初的定义。 也就是说最小二乘估计隐含了噪声服从高斯分布的假设。
噪声服从是高斯分布
对于数据拟合而言,误差来源于数据的随机性,也就是说,我们的训练数据是带有噪声的,现在假设,噪声服从高斯分布, 所以有
令
所以条件概率
。 假设样本数独立同分布的,使用最大似然估计MLE,
, 将各个样本带入,并展开,消去一些与W优化无关的项,便可以得到
就转化成了最小二乘最初的定义。 也就是说最小二乘估计隐含了噪声服从高斯分布的假设。
噪声服从是高斯分布