第5章 多变量线性回归
1,多功能
2,多元梯度下降法(Gradient Descent for Multiple variabls)
Hypothesis假设:
Parameters参数:
n+1维向量
Cost function 代价函数:
Gradient descent:
Repeat{
}
每一个j=0,...,n同时更新
3,特征缩放(feature scaling)
如上图,进行梯度下降法,可能要来来回回很多步之后才能到达最优点。
所以可以进行特征缩放,让x1x2的范围足够接近,减少求解步数。
均值归一化,通用的公式,
是x1平均值,s1是x1最大值减最小值,求得范围,也可以用标准差。
这些缩放不用特别精确,目的只是为了加快运行速度。
4,学习率(如何进行调试,如何选择学习率)
很难判断需要多少步收敛,所以经常画出代价函数的曲线来看是否收敛。
取学习率,太大不收敛,太小就太慢
可以多取几个学习率,比如按3的倍数取,逐个试,找到太大和太小的学习率。
取最大可能值,或比最大值略小的。
5,特征和多项式回归(polynomial regression)
观察后觉得,直线不能很好地拟合。采用多项式来拟合。
在多项式拟合情况下,要注意特征缩放,否则特征的范围容易有很大差别。
多项式拟合的模型有多种。
6,正规方程(区别于迭代解法的直接解法)Normal equation
正规方程推导见:https://blog.csdn.net/chenlin41204050/article/details/78220280
最速下降法
优点:在特征变量很多的情况下也能运行很好;
n远大于10^4时,选取它快一些。
缺点:需要选择最优学习率;
需要迭代多次。
正规方程法:
优点:不需要选择最优学习率;
不需要迭代多次。不用画J曲线。
缺点:需要计算,是一个n*n的矩阵,实现的代价以矩阵纬度的三次方增涨,
因此n很大时,计算速度很慢。n小于10^4可以采用。
6,正规方程在矩阵不可逆情况下的解决方法
Octave中,pinv是伪逆,inv是逆。即使不可逆,pinv也可以运行。
出现不可逆,往往有两种原因,一个是有多余的特征值,比如x1和x2是有线性关系的,可以删除多余特征。
另一个是有太多的特征值,比训练样本还要多,可以去掉一些特征值,或者使用正则化的方法。