一元线性回归

一元线性回归

输入 x
输出 y
寻找一个映射，即 y = f(x)
当然一元线性回归的输入特征仅仅要求为一元变量，因此x、x的平方、x的立方等也都是符合规则的自变量。
为了方便讨论, 我们从最简单的 y = wx + b。开始。

误差

实际上，输出值和预测值之间误差肯定是不可避免的，但我们可以知道，误差ε服从均值为0,标准差为σ的高斯分布 ε~N(0,σ)
$$P(\epsilon )=\frac{1}{\sqrt{2\pi }}$$

写公式太累了，直接上传图片了。。。

首先根据高斯分布结合 y=wx+b+ε得到概率函数

根据概率函数得到似然函数，对似然函数取对数得到对数似然。这块我的感觉是寻找w,b ，来使得服从高斯分布的误差值越小。因为概率越大的地方，误差值越趋近于0。

实际上来说，最后就是求取最小化均方差。
因为是凸函数(国内说凹函数)
分别对w、b求偏导，最后解出极值点所对应的x,b。找出最小的最值点。
即为拟合效果最好的w和b。
这种方法又叫做 最小二乘法。