极大似然估计解决线性回归问题（频率学派）

1 前言

• 之前一篇文章LR推导讲了如何使用极大似然估计推导逻辑回归的损失函数：交叉熵 ；
• 本文讲解如何使用极大似然估计推导线性回归的损失函数：最小二乘。
• 本文参考自PRML

2 问题定义

• 给定数据集 { x 1 , x 2 , . . . , x m } \{x_1,x_2, ...,x_m\} { x1​,x2​,...,xm​}和标签 { y 1 , y 2 , . . . , y m } \{y_1,y_2, ...,y_m\} { y1​,y2​,...,ym​}，训练一个模型$y(x,\theta )$，使得输入新的 $x$，输出对应的预测值。其中 $x_i\in R^n$，标签 $y_i\in R$；
  

3 建立判别模型

• 建立一个判别模型，使得输入一个数据 $x$，输出所有可能的 $y$ 值对应的概率，如果 $y$ 值连续，则输出 $y$ 值的概率密度函数。
• 我们使用线性高斯分布（Linear Gaussian）来建立该判别模型：
  p ( y ∣ x , θ , β ) = N ( y ∣ θ T x , β − 1 ) p(y|x,\theta,\beta)=\mathcal{N}(y|\theta^Tx,\beta^{-1}) p(y∣x,θ,β)=N(y∣θ