多项式回归
线性回归并不适用于所有数据,有时我们需要用曲线来适应数据,比如一个二次方模型:
或者三次方模型:
可以令:
x
2
=
x
2
2
,
x
3
=
x
3
3
x_2 =x_2^2,x_3=x_3^3
x2=x22,x3=x33
从而将模型转换为线性回归模型
根据函数图形特性还可以:
h
θ
(
x
)
=
θ
0
+
θ
1
(
s
i
z
e
)
+
θ
2
s
i
z
e
h_θ(x) =θ_0+θ_1(size)+θ_2\sqrt{size}
hθ(x)=θ0+θ1(size)+θ2size
注:采用多项式回归模型,在运行梯度下降算法前,特征缩放非常有必要。
正规方程
对于某些问题正规方程方法能更好的解决如:
正规方程方法求解参数
θ
=
(
X
T
X
)
−
1
X
T
y
θ={(X^TX)}^ {-1}X^Ty
θ=(XTX)−1XTy