问题描述
最近笔者在自学深度学习,为了巩固mxnet自动求梯度的用法,决定手动实现一下最简单的多元线性回归算法
但在实现过程中,发现最终的结果与实际值相差很大,最后查看日志发现,是梯度值一直都没有变化
原始的部分代码如下
solve_w=nd.random.normal(scale=0.01,shape=(3,))
solve_w.attach_grad()
with autograd.record():
a = loss(solve_w)
a.backward()
for i in range(1000):
grad=solve_w.grad
print(grad)
solve_w[:]=solve_w-0.01*grad
其中loss是平方均值损失函数,通过在这里面添加日志发现,这个函数只被调用了一次
解决方案
最后通过比对与网上的代码,发现
with autograd.record():
a = loss(solve_w)
a.backward()
这段代码需要放在for循环里面
最终代码改成
solve_w=nd.random.normal(scale=0.01,shape=(3,))
solve_w.attach_grad()
for i in range(1000):
with autograd.record():
a = loss(solve_w)
a.backward()
grad=solve_w.grad
print(grad)
solve_w[:]=solve_w-0.01*grad
便可以得出正确结果了