机器学习中的线性回归算法和其MATLAB代码
算法简介
在监督学习中有一种问题为回归,在线性回归表现为给定一堆散点数据 (x,y) ,然后求出回归直线方程 θ ,在这里我们直接以更为通用的多变量线性回归为例。
理论计算
求出这样的直线方程有两种方法,一种是求出代价函数 J(θ) ,然后利用梯度下降或者其他最优化方法来求出最小代价函数下的 θ 。另外一种则是直接利用正规方程来求解。
1.利用梯度下降的方法求解
这是一种更加通用的方法,我们先得到假设函数(hypothesis)
hθ(x)=θ0x+θ1x+θ2x+...+θnx
假设函数可以简化为
hθ(x)=θTX
,注意其中X为
[1,x]
然后求出代价函数为所有样本误差的平方和表示为
J(θ0+θ1+θ2+...+θn)=12m∑i=1m(hθ(x(i))−y(i))2
然后利用梯度下降的方法来求解该方程,也就是在程序中重复以下内容。
θj:=θj−α1m∑i=1m(hθ((x(i))−y(i))∗x(i)j)
其中 α 为步长, m 为样本个数,
注意这里的优化目标是 θ ,最后应该收敛于最优值。
下面是关键部分的MATLAB代码实现
代码已经经过Coursera系统的验证
------------------
//这个是迭代过程中的梯度下降代码,注意X是原有的样本特征矩阵前面加上一列全1得到的
theta=theta-alpha/m*(X'*[X*theta-y]);
//这个是代价函数的计算公式代码
J=[X*theta-y]'*[X*theta-y]/2/m;
2.利用正规方程来求解
对于线性回归,可以直接理论求得最优解,利用以下方程即可直接获取最优解。
θ=(XTX)−1XTy