在《机器学习笔记01》中已经讲了关于单变量的线性回归以及梯度下降法。今天这篇文章作为之前的扩展,讨论多变量(特征)的线性回归问题、多变量梯度下降、Normal equation(矩阵方程法),以及其中需要注意的问题。
单元线性回归
首先来回顾一下单变量线性回归的假设函数:
Size( feet2 ) | Price( $ 1000) |
---|---|
2104 | 460 |
1416 | 232 |
1534 | 315 |
852 | 178 |
… | … |
我们的假设函数为 hθ(x)=θ0+θ1x
多元线性回归
下面介绍多元线性回归(Linear Regression with Multiple features/variables)。同样以预测房价为例,假设我们对房价的预测涉及到4个因素:Size、Number of bedrooms、Number of floors、Age of house。假设我们的训练集如下:
Size( feet2 ) | Number of bedrooms | Number of floors | Age of house(years) | Price( $ 1000) |
---|---|---|---|---|
2104 | 5 | 1 | 43 | 460 |
1416 | 3 | 2 | 40 | 232 |
1534 | 3 | 2 | 30 | 315 |
852 | 2 | 1 | 36 | 178 |
… | … | … | … | … |
符号说明(Notation):
符号 | 含义 |
---|---|
n | number of features(特征的数量,上表中为4) |
|
input(features) of ith training example(第 i 组训练数据,比如
|
xij | value of feature j in ith training example(第 i 组训练集的第
|
m | number of training examples(训练集样本的数量,比如上表为4) |
1、假设函数(Hypothesis function)
既然是线性回归,我们的假设函数当然应该是一条直线:
hθ(x)=θ0x0+θ1x1+θ2x2+θ3x3+...+θnxn
其中
x0
始终为1。所以上面两个函数是等价的。
为了方便,我们记
X=⎡⎣⎢⎢⎢⎢⎢x0x1x2...xn⎤⎦⎥⎥⎥⎥⎥;θ=⎡⎣⎢⎢⎢⎢⎢θ0θ1θ2...θn⎤⎦⎥⎥⎥⎥⎥
所以有
hθ(x)=θ0+θ1x1+θ2x