机器学习中的线性回归算法

机器学习中的线性回归算法和其MATLAB代码

算法简介

在监督学习中有一种问题为回归，在线性回归表现为给定一堆散点数据$(x,y)$，然后求出回归直线方程$\theta$，在这里我们直接以更为通用的多变量线性回归为例。

理论计算

求出这样的直线方程有两种方法，一种是求出代价函数$J(\theta)$，然后利用梯度下降或者其他最优化方法来求出最小代价函数下的$\theta$。另外一种则是直接利用正规方程来求解。

1.利用梯度下降的方法求解
这是一种更加通用的方法，我们先得到假设函数(hypothesis)

$$h_{\theta}(x)=\theta_{0}x+\theta_{1}x+\theta_{2}x+...+\theta_{n}x$$ 假设函数可以简化为 $h_{\theta}(x)=\theta^{T} X$，注意其中X为 $[1,x]$然后求出代价函数为所有样本误差的平方和表示为 $$J(\theta_{0}+\theta_{1}+\theta_{2}+...+\theta_{n})=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$$ 然后利用梯度下降的方法来求解该方程，也就是在程序中重复以下内容。
$$\theta_{j}:=\theta_{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}((x^{(i)})-y^{(i)})*x_{j}^{(i)})$$
其中 $\alpha$为步长， $m$为样本个数，$j$表示步数
注意这里的优化目标是 $\theta$，最后应该收敛于最优值。

下面是关键部分的MATLAB代码实现

代码已经经过Coursera系统的验证
------------------
//这个是迭代过程中的梯度下降代码，注意X是原有的样本特征矩阵前面加上一列全1得到的
theta=theta-alpha/m*(X'*[X*theta-y]);

//这个是代价函数的计算公式代码
J=[X*theta-y]'*[X*theta-y]/2/m;

2.利用正规方程来求解
对于线性回归，可以直接理论求得最优解，利用以下方程即可直接获取最优解。

$$\theta=(X^{T}X)^{-1}X^{T}y$$