一、多元线性回归的假设形式
多元线性回归的假设可表示为:
另外,我们定义一个额外的第0个特征向量x0=1,并将特征向量和参数都表示为矩阵形式,则方程变为:
二、多元梯度下降法
多元线性回归的代价函数为:
其中,x(i)j=第i个训练样例中第j个特征量的值。
PS:一些实用技巧(通过预处理,让初始的特征量具有同等的地位,才能让机器学习算法更快地学习得到它们的权重θ,这个预处理的过程我们称之为数据标准化(Normalization)):
1、特征缩放(Feature scaling):
目的:保证特征值都在一个相同的范围内,便于更快的收敛。
做法:首先进行均值归一化(mean normalization),将特征值减去它的平均值,然后除以它的范围。一般的,我们会将特征的取值约束在-1到+1的范围内。
其中,μi是原特征量xi的平均值,si取标准差,或max-min
2、学习率α:
如果α太小:收敛会特别慢。
如果α太大:J可能不收敛。
经验:每隔3倍数取值,比如0.001,0.003,0.01,0.03,0.1等。并绘制J随迭代步数变化曲线来判断。然后选择使J快速下降的一个α值。
三、特征和多项式回归
学习使用合适的特征值
四、正规方程(Normal Equation)
1、目的:直接求解出最优的θ值,不同于梯度下降法,该法能直接求解,不需要迭代
2、步骤:
其中,
3、正规方程法不需要特征缩放。特征变量小于10000时适用。
4、对比:
5、矩阵不可逆时的解决办法:首先观察是否有多余特征值,若有,删除;再检查是否有过多的特征,删除;考虑使用正规化方法(regularization)
**
PPS,第一次作业:多变量线性回归里面:千万千万别忘记了把想求的结果值也给特征化!!!!!!!!!
**