matlab求解线性回归,机器学习笔记（一）—— 线性回归问题与Matlab求解

给你多组数据集，例如给你很多房子的面积、房子距离市中心的距离、房子的价格，然后再给你一组面积、 距离，让你预测房价。这类问题称为回归问题。

回归问题(Regression) 是给定多个自变量、一个因变量以及代表它们之间关系的一些训练样本，来确定它们的关系。其中最简单的一类是线性回归(Linear Degression)。

线性回归函数的形式如下:

  (1)

θj是我们要求的系数。接下来介绍一下求θ 的两种方法，梯度下降(Gradient Descent)和正规方程(Normal Rquation )。

1. 梯度下降法

描述：梯度下降法(Gradient descent)是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

公式：

(2)

其中，J(θ) 称为代价函数(Cost Function )或损失函数(Loss Function), 用来量度预测结果和标准结果之间的误差，常见的有交叉熵，均方误差，平均绝对值误差等。在这里使用均方误差。α是学习速率，取值自定，一般取比较小的数，如0.03

(3)

( hθ(x) 是x经过待求的函数得出的结果，y(i) 是数据集中的结果)

公式(2)的旨在求出最小的θj，把代价函数J