由极大似然估计推导损失函数——线性回归

一般的线性回归是由$(x_1,x_2,...,x_n)$预测$y$，损失函数采用均方差函数
$$MSE=\frac{1}{m}\sum _{i=1}^n{\Vert {\hat{y}}^2-y^2\Vert }^2$$

利用极大似然估计进行推导

想象输入同样的X，预测值${\hat{y}}^2$有很多个。输入同样的X，普通线性回归的预测值只有一个，这里假设预测值服从某个分布。这里采用$p(y|X)$表示$y$出现的概率。
线性回归函数为
$$y={\theta }^{T}x+ϵ$$
假设$p(y|X)$服从正态分布，即
$$p(y|X)=N(y;0,{\sigma }^2)$$，
也即
$$ϵ\sim N(y;0,{\sigma }^2)$$
似然函数为
$$L(\theta )=\prod _{i=1}^{m}p(ϵ)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{ϵ}^2}{2{\sigma }^2}}$$
$$=(\frac{1}{\sqrt{2\pi }\sigma }{)}^m{e}^{-\sum {}_{i=1}^m\frac{{ϵ}^2}{2{\sigma }^2}}$$
取对数可以得到
$$lnL(\theta )=-mln(\sqrt{2\pi })-mln(\sigma )-\sum _{i=1}^m\frac{{ϵ}^2}{2{\sigma }^2}$$

$$=-\frac{m}{2}ln(2\pi )-mln(\sigma )-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(y-{\theta }^{T}X)$$
所以有
$$\begin{gathered} loss=\underset{\theta }{\min }-lnL(\theta ) \\ =\frac{1}{2}\sum _{i=1}^m(y-{\theta }^{T}X) \end{gathered}$$
由上式可以看出，利用极大似然估计得出的对数似然函数与均方差相似，最大化对数似然与最小化均方差会得到相同的参数。

结论

线性回归：假定误差项$ϵ\sim N(y;0,{\sigma }^2)$，或者预测项$y\sim N(y;\mu ,{\sigma }^2)$。
最小化负的对数似然等价于最小化均方误差。