线性回归之数学原理解析

主要内容：

1.模型数学表达式

2.模型目标函数

3.求模型参数

极大似然估计（MLE）

贝叶斯最大后验估计（MAP）

1.模型公式：

y = wx +b

从一维到n维：

h_{\theta}(x) = \sum_{i=0}^{x}{\theta_{i}x_{i}} = \theta^{T}x

2.目标函数：（或者叫“损失函数”，就是度量预测值和真实值的差距）

J(\theta) = \frac{1}{2}\sum_{i=1}^{m}{(h_{\theta}(x_{i}) - y_{i})^{2}}

a.解释1:直观的理解，就是计算“预测值”和“真实值”的距离，但是因为有正负，所以一般就取差的平方。

b.解释2:通过模型函数：

y_{i} = \theta^{T}x_{i} + \varepsilon_{i}, 假设 \varepsilon_{i} \sim N(0, \sigma^{2}) (均值为0的高斯分布)

通过MLE推导：