机器学习---背后数学原理--线性回归(最小二乘法)

线性回归的地位

在这里插入图片描述

线性回归–最小二乘法估计与极大似然法则

线性回归模型

在这里插入图片描述
当前目标 是 找到 模型f(w)=wTxf(w)=w^Tx,也就是求出参数 w。
下面介绍 用 最小二乘估计 和 极大似然 两种方法(其实二者本质上是一样的

最小二乘估计,极大似然 ,及二者的关系(用频率派的角度理解最小二乘)

最小二乘估计

最小二乘估计的思路是:

我们找到的这个函数,于已有样本集的误差平方和 最小
在这里插入图片描述

极大似然

极大似然的思路是:
原本我们的样本x都是由模型f(w)f(w)生成的,但是在外界干扰的条件下,模型f(w)f(w)对x的输出(即y)会有所改变。
假设这个干扰 服从高斯分布 均值为0,方差为 σ\sigma
在这里插入图片描述
在这里插入图片描述
即最终得到原本的y 也服从 高斯分布。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最小二乘估计 与 极大似然 的关系

事实上,最小二乘估计 就是 干扰服从高斯分布(均值为0,方差为 σ\sigma)的极大似然法则
在这里插入图片描述

线性回归–正则化

方法正则化
在这里插入图片描述

在这里插入图片描述
求模型即求参数w, 根据上图,想求w即要求 (xTx)1(x^Tx)^{-1}, 但是 (xTx)(x^Tx)并不一定可逆。
数学上(xTx)(x^Tx)不可逆,模型直观上就是过拟合。

岭回归 l2 正则化 (频率派角度)

在这里插入图片描述
在这里插入图片描述

从贝叶斯派的角度 理解 L2正则化

在这里插入图片描述

正则化中 频率派和贝叶斯派 是一样的。

在这里插入图片描述

综上所述

在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读