吃瓜教程打卡task2

第3章-一元线性回归

参考视频：第3章-一元线性回归_哔哩哔哩_bilibili

1.最小二乘估计

基于均方误差最小化来进行模型求解的方法称为 “最小二乘法”

$$\underset{\omega ,b}{\mathrm{argmin}}{E}_{(\omega ,b)}$$

以上公式的意思是求使得 $E_{(\omega ,b)}$ 最小的 $\omega$ 和 $b$ 。

其中 $E_{(\omega ,b)}={\sum }_{i=1}^m(y_i-f(x_i){)}^2$ 。

2.极大似然估计

极大似然估计是估计参数的统计方法（MLE），通过寻找使得观测数据出现的概率最大的参数值来对未知参数进行估计。

对于线性回归来讲，也可以假设其为以下模型

$$y=\omega x+b+ϵ$$

其中 $ϵ$ 为不受控制的随机误差，通常假设其服从均值为 $0$ 的正态分布 $ϵ\sim \mathcal{N}(0,{\sigma }^2)$ （高斯提出的，也可以用中心极限定理解释），所以 $ϵ$ 的概率密度函数为

$$p(ϵ)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{{ϵ}^2}{2{\sigma }^2})$$

若将 $ϵ$ 用 $y-(\omega x+b)$ 等价替换可得

$$p(ϵ)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y-(\omega x+b){)}^2}{2{\sigma }^2})$$

可以看作 $y\sim \mathcal{N}(\omega x+b,{\sigma }^2)$ ，下面便可以用极大似然估计来估计 $\omega$ 和 $b$ 的值

$$L(\omega ,b)=\prod _{i=1}^{m}p(y_i)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y-(\omega x+b){)}^2}{2{\sigma }^2})$$

$$\ln L(\omega ,b)=\sum _{i=1}^m\ln \frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y_i-(\omega x_i+b){)}^2}{2{\sigma }^2})=\sum _{i=1}^m\ln \frac{1}{\sqrt{2\pi }\sigma }+\sum _{i=1}^m\ln \exp (-\frac{(y_i-(\omega x_i+b){)}^2}{2{\sigma }^2})$$

$$\ln L(\omega ,b)=m\ln \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^m{(y_i-\omega x_i-b)}^2$$

去掉前面的常数和负号，相当于最小化后半部分式子

$$({\omega }^{\ast },b^{\ast }=\underset{\omega ,b}{\arg \max )}\ln L(\omega ,b)=\underset{\omega ,b}{\mathrm{argmin}}\sum _{i=1}^m{(y_i-\omega x_i-b)}^2$$

等价于最小二乘估计

第3章-多元线性回归