梯度下降单参数求解
经过之前的学习我们来引入梯度下降的理念
α
\alpha
α为学习率
w
1
=
w
初
−
α
∂
J
(
w
)
∂
w
w_1=w_初-\alpha\frac{\partial J(w)}{\partial w}
w1=w初−α∂w∂J(w)
w
2
=
w
1
−
α
∂
J
(
w
1
)
∂
w
1
w_2=w_1-\alpha\frac{\partial J(w_1)}{\partial w_1}
w2=w1−α∂w1∂J(w1)
一直到下降到当前
ω
n
\omega_n
ωn的偏导数为0时，即
ω
\omega
ω参数不能再调节且再调节，loss的值也不会再小了
多参数求解
f
(
x
)
=
x
1
w
1
+
x
2
w
2
+
x
3
w
3
+
b
f(x)=x_1w_1+x_2w_2+x_3w_3+b
f(x)=x1w1+x2w2+x3w3+b
求损失函数关于该参数的偏导数，然后利用梯度下降法的公式不断迭代求解，最终在损失函数趋于平稳不再下降为止。
扫一扫
1374
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
