第2课 Multivariate Linear Regression 多元线性回归
特征缩放(feature scaling):一般把xi缩放到-1到1的范围内
均值归一化(mean normalization):减去平均值再除范围(最大值与最小值之差)
确定梯度下降是否正常工作:画出J(θ)根据梯度下降迭代次数的变化图,看是否是递减的。也可根据下降幅度来判断是否已收敛
如果J(θ)非递减,则α过大。如果α过小,太慢。
如何选择学习率α:尝试一系列α,选择最大值,或比最大值稍小的一个合适值。如间隔3倍:…0.001,0.003,0.01,0.03,0.1,0.3,1,…
特征选择:如房价预测,不要选长宽两个特征,把它们合成一个特征:面积。
多项式回归:用x1,x2,x3代替x,x^2,x^3,化为线性回归(特征缩放非常重要):
模型选择:以面积预测房价为例,不应该用二次模型,因为二次模型是抛物线形状,涨到一定程度后会下降。这时,除了三次模型外,还可以用平方根模型,同样可以满足条件:
第2课 Computing Parameters Analytically
1.正规方程:不用梯度下降,用求导的方法直接一次求得θ
用矩阵的方法,例:
梯度下降与正规方程优缺点比较:
梯度下降:优点:当n(特征个数)非常大时也能好好地工作
缺点:需要选择合适的α;需要多次迭代
正规方程:优点:不用选择α,不用迭代
缺点:需要计算XTX的逆(O(n^3)),当n(特征个数)非常大时速度很慢
如果n<10000用正规方程,n为10000左右时需考虑,n远大于10000时,用梯度下降
一些复杂的算法,如分类算法,像逻辑回归算法(以后讲),并不能用正规方程的方法,只能用梯度下降法
2.正规方程的可逆性
如果XTX不可逆。
Octave中有两个求逆函数:pinv和inv,其中pinv是伪逆函数,即使不可逆,也能求出结果
XTX不可逆通常有两个原因:
1.有多余的特征,如以英寸计算的面积和以平方米计算的面积两个重复的特征。解决方法:删除重复的特征
2.特征的数量过多,大于训练集长度(m<=n)。解决方法:删除一些特征,或使用正规化的方法(以后讲)