背景与原理:
给定一些离散点,利用线性回归过程获取多项式逼近拟合回归曲线。
Polynomial Curve Fitting
其中
a是需要求的位置系数。
于是根据mean-squared error,我们需要最小化
即minimize
其中RSS意为Residual sum of squares.
我们为方便起见,将参数与变量归整化为矩阵形式
需要做的就是求Js(a)的最小值。
根据梯度下降法,我们有
取deltaJs = 0,则有
此处XX'根据矩阵相乘秩<=秩(X) and 秩(X'),当样本数大于特征数时,(XX')非奇异。
以上方法会有overfitting的问题,为了增加过拟合的penalty,加上一个累积参数
于是有
此时系数矩阵a为
应用:
利用该方法获得线性分类器。
实现代码:
Linear Regression:
function w = linear_regression(X, y)
%LINEAR_REGRESSION Linear Regression.
%
% INPUT: X: training sample features