机器学习--回归算法--线性回归算法理论

最新推荐文章于 2024-04-23 22:21:34 发布

我是疯子喽

最新推荐文章于 2024-04-23 22:21:34 发布

阅读量927

点赞数

文章标签：机器学习 python 随机梯度下降最小均方误差

本文链接：https://blog.csdn.net/weixin_35733800/article/details/104996789

版权

本文深入探讨了线性回归算法的核心思想，包括数据如何拟合线性模型以及最小化误差。介绍了模型构建过程，如极大似然原理，并讨论了解析解的限制。接着，文章阐述了过拟合和欠拟合的问题及其解决方案，如Ridge、Lasso和ElasticNet回归。最后，探讨了线性回归的评价指标和局部加权线性回归的优缺点。

摘要由CSDN通过智能技术生成

4 线性模型过拟合问题（在算法学习上做出限制）

1 MSE（越趋于0越好，取值范围为0到正无穷）

2 RMSE（越趋于0越好，取值范围为0到正无穷）

3 MAE（越趋于0越好，取值范围为0到正无穷）

4 R^2（越趋于1越好，取值范围为负无穷到1）

一回归算法核心思想

1 符合线性模型

即特征集X与目标属性Y之间满足线性关系，符合线性模型

2 数据距离拟合超平面的直线距离最小

期望确定某个超平面，使得训练集数据均匀分布于超平面两侧，且距离超平面直线距离最小

二回归算法模型

1 前提要求

1 ）线性模型

$y^{^{(i)}}=\theta ^{T}x^{^{(i)}}+\epsilon_{i}$ （ $y^{^{(i)}}\approx \theta ^{T}x^{^{(i)}}$ ，截距 $\theta _{0}$ 以包含在内）

注意： $y^{^{(i)}}$ ， $x^{^{(i)}}$ ， $\epsilon_{i}$ 均为随机变量， $\theta$ 为系数，且 $\epsilon_{i}$ 满足独立同分布

2）残差分布

$\epsilon_{i}\sim N(0,\sigma ^{2})$ ，根据中心极限定理决定

3 ）极大似然原理

假设一场试验中，发生A结果，并未发生B结果或者其他结果，那么说明该试验对A有利，进而数学上可以表达为 $p(A)=p(A|\theta ^{'})$ ，其中 $\theta ^{'}$ 为有利于A的条件

2 模型构建

第一步：残差的联合概率密度函数

$\epsilon ^{(i)}\sim N(0,\sigma ^2)\rightarrow p(\epsilon ^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(\epsilon ^{(i)})^{2}}{2\sigma ^2}}$

$\Rightarrow p(\epsilon ^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}}$

$\Rightarrow p(\epsilon)=\prod_{i=1}^{m}p(\epsilon^{(i)})=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}}$

$\Rightarrow p(\epsilon)=p(y^{(i)}|x^{(i)},\theta)=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}}$

第二步：构建对数似然函数

$L(\theta)=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}}\rightarrow l(\theta)=logL(\theta)=\sum_{i=1}^{m}log(\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}})$

$l(\theta)=\sum_{i=1}^{m}log(\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}})$

$=\sum_{i=1}^{m}log(\frac{1}{\sqrt{2\pi }\sigma })+\sum_{i=1}^{m}log(e^{-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}})$

$=\sum_{i=1}^{m}log(\frac{1}{\sqrt{2\pi }\sigma })-\sum_{i=1}^{m}\frac{(y^{(i)}-\theta ^{T}x^{(i)})^{2}}{2\sigma ^2}$

$=\sum_{i=1}^{m}log(\frac{1}{\sqrt{2\pi }\sigma })-\frac{1}{2\sigma ^2}\sum_{i=1}^{m}(y^{(i)}-\theta ^{T}x^{(i)})^{2}$

$\Rightarrow l(\theta)=\sum_{i=1}^{m}log(\frac{1}{\sqrt{2\pi }\sigma })-\frac{1}{2\sigma ^2}\sum_{i=1}^{m}(y^{(i)}-\theta ^{T}x^{(i)})^{2}$

最低0.47元/天解锁文章

我是疯子喽

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
机器学习--回归算法--线性回归算法理论

第一部分：导言阅读本章节，需要一定的数理统计基础第二部分：干货1 模型前提1）线性模型：（，截距以包含在内）注意：，，均为随机变量，为系数，且满足独立同分布2）3）极大似然原理：假设一场试验中，发生A结果，并未发生B结果或者其他结果，那么说明该试验对A有利，进而数学上可以表达为，其中为有利于A的条件2 建立模型3 模型问题,要求可逆，如何解...
复制链接

扫一扫