本文用于复习《Machine Learning》第二章部分内容
内容来自于Andrew Ng的机器学习课程,主要是为了回忆起来方便
第二章第一讲主要讲解了多特征线性回归的处理方法
- multivariate linear regression
在之前的章节中以楼房价格预期为例,预测房屋的面积和房屋价格的线性回归关系,这里加深这个案例的理解,房价可能还会受到房间数目,房屋楼层等等因素的影响,这些影响就是所谓的多特征。假定房屋面积、房间数目、房屋楼层为三个特征,与房价构成多特征线性回归关系。
- n=特征数,即是3
- x(i) 就是第i个案例,即是在50个房屋案例中,第i个案例假设为第20个案例,房屋面积100平米,房间数3,房屋楼层3。
- x(i)j 就是在第i个案例中的第j个特征,即是在50个房屋案例中,第i个案例第j个特征假设为第20个案例,第二个特征为房间数3
所以多特征线性回归预测公式则变为:
hθ(x)=θ0x0+θ1x1+θ2x2+θ3x3+...+θnxn
相应的代价方程则变为:
J(θ)=12m∑i=1m(hθ(x(i))−y(i))2
梯度下降方程变为重复执行如下方程,
特别注意j=0,...,n,且更新要同时进行:
θj:=θj−α∂∂θjJ(θ)
feature scalling
假定房屋面积包含特殊情况得到统计从1-1000平米的房屋都是存在的,那么这里特征缩放的意思就是希望,所有的房屋面积能尽可能在 −1≤x≤1 之间
所以对房屋面积进行处理,令所有房屋面积都除以1000。mean normalization
这里姑且将它称作均值归一化处理,假设 μ1 为房屋面积平均值, s1 为房屋面积最大值减最小值(也是所谓的range),均值归一化处理如下:
x1=x1−μ1s1polynomial regression
除了多特征以外,其实每个特征本身还可以根据幂次的不同,进行趋势走向的影响。
例如,假设只有房屋面积这一个因素,然后有两个特征分别是面积和面积的平方,得到如下式子:
hθ(x)=θ0+θ1x1+θ2x21
得到了一元二次方程,那么可以构想此式得到的趋势图像极有可能是先上升到顶点再下降的,那么可能并不太符合房价预期。但是如下式子可能就会符合一点,趋势图像极有可能是由快变慢上升
hθ(x)=θ0+θ1x1+θ2x1‾‾√