Linear Regression & Ridge Regression的matlab实现

最新推荐文章于 2023-07-12 21:37:19 发布

南极光

最新推荐文章于 2023-07-12 21:37:19 发布

阅读量1.1w

点赞数 3

分类专栏： Machine Learning Algorithm

本文链接：https://blog.csdn.net/rk2900/article/details/9061263

版权

这篇博客介绍了线性回归和岭回归的基本原理，通过归整化矩阵形式求解最小化问题，并讨论了过拟合问题。博主提供了利用Matlab实现线性回归和岭回归的方法，适用于数据拟合和构建线性分类器。

摘要由CSDN通过智能技术生成

背景与原理：

给定一些离散点，利用线性回归过程获取多项式逼近拟合回归曲线。

Polynomial Curve Fitting

其中

a是需要求的位置系数。

于是根据mean-squared error，我们需要最小化

即minimize

其中RSS意为Residual sum of squares.

我们为方便起见，将参数与变量归整化为矩阵形式

需要做的就是求Js(a)的最小值。

根据梯度下降法，我们有

取deltaJs = 0，则有

此处XX'根据矩阵相乘秩<=秩(X) and 秩(X')，当样本数大于特征数时，(XX')非奇异。

以上方法会有overfitting的问题，为了增加过拟合的penalty，加上一个累积参数

于是有

此时系数矩阵a为

应用：

利用该方法获得线性分类器。

Linear Regression：

function w = linear_regression(X, y)
%LINEAR_REGRESSION Linear Regression.
%
%   INPUT:  X: training sample features

关注

专栏目录