Multiple Features(多特征)
是指训练集中第i个训练样本的第j个特征(标量);
是训练集中第i个输入特征(向量)。
Example:
Hypothesis:
以前:
现在:
定义
代价函数(cost function):
梯队下降法(Gradient descent):
以前:(n=1)
现在:(n>=1) -->多元线性回归的梯度下降算法
特征缩放(feature scaling):
idea(实现思想):使不同特征缩小至相近范围
让每一个特征缩小至统一相近范围:一般减去平均值然后除以标准差或最大最小值之差(均值归一化)
均值归一化(mean normalization):
用替代
,这样特征值就具有为0的平均值(tips:不将此实施在
)
学习率:
在选择取值:...,0.001,0.003,0.01,0.03,0.1,0.3,1,...
Polynomial regression(多项式回归):
tips:注意归一化
normal equation(正规方程):
这是一个求解的解析算法,对比梯度下降法,可以一次性求解
的最优值。
注意
不一定可逆(奇异或退化矩阵),matlab/octave使用pvin()函数可能求解的是伪逆矩阵。
对不可逆情况的处理:找到无关的多余特征并删除,这将解决不可逆问题。