机器学习笔记Day 2
多变量线性回归
n ：特征数量
x i x^i xi: 训练集中第i个输入特征
x j i x^i_j xji: 训练集中第i个输入特征的第j个值
假设函数
h θ ( x ) = θ 0 + θ 1 x 1 + . . . + θ n x n h_\theta(x)=\theta_0+\theta_1x_1+...+\theta_nx_n hθ(x)=θ0+θ1x1+...+θnxn
其中X可以看成一个(n+1)x1维列向量，其中 x 0 = 1 x_0=1 x0=1
同样
θ
\theta
θ也是(n+1)x1维列向量，则上述公式为
h
θ
(
x
)
=
θ
T
X
h_\theta(x)=\theta^TX
hθ(x)=θTX
多元梯度下降法
假设函数： h θ ( x ) = θ 0 + θ 1 x 1 + . . . + θ n x n h_\theta(x)=\theta_0+\theta_1x_1+...+\theta_nx_n hθ(x)=θ0+θ1x1+...+θnxn
参数： θ i \theta_i θi ，n+1维列向量
代价函数：
J ( θ ) = 1 2 m ∑ i = 1 m ( h θ ( x i ) − y i ) 2 J(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^i)-y^i)^2 J(θ)=2m1i=1∑m(hθ(xi)−yi)2
梯度下降：
R e p e a t : θ j = θ j − a ∂ ∂ θ j J ( θ ) Repeat:\theta_j=\theta_j-a\frac{∂}{∂\theta_j}J(\theta) Repeat:θj=θj−a∂θj∂J(θ)
上图显示了多元梯度下降的过程
特征缩放
让特征在一个相近的范围内
如果直接用特征的值来画图，会得到左边所示的椭圆图，这会使梯度下降花费更多时间，可能来回振荡，更加缓慢。
所以采用特征缩放能使输入值位于0到1之间。最好的做法是让每个特征值接近[-1, 1]的范围内，当然在这范围外的小幅度波动还是能接受的，安卓老师给出了非常适合的范围[-3, 3], [-1/3, 1/3]最大最小都是可以接受的。
均值归一化
对特征缩放的进一步说明，如何特征缩放，均值归一化！
如何选择学习率α
学习率太小，会导致梯度下降太慢，太大会导致可能振荡!
特征和多项式回归。。这一节，对假设函数的选取并不知道遵循什么规则。
正规方程
这有点像高数中的对多元函数求最小值，不过这里是矩阵，刚好不会，后面补补矩阵知识。
正规方程直接求得参数，不用求学习率，不用迭代，还是很方便的，但是，条件是特征数量不大的情况。（n = 1000可以，10000就考虑用梯度下降了）
正规方程在矩阵不可逆情况下的解决方法。。这里我选择性跳过，后面在补。。
扫一扫
237
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
