pytorch中required_grad和detach的澄清

最近和别人讨论，发现了自己以前的认识错误的地方。

代码中的detach和required_grad的引入是减少了计算量，required_grad=false会计算误差，不计算wb的梯度（原因在于一个网路如果是ABC层这样的连接方式，B不求梯度，但是A还是会获得梯度，这就需要计算B的误差，从而传播到A，而计算B中参数的梯度就没有必要了），而detach会切断反向传播，不计算误差也不计算梯度。之所以之前会认为加不加required_grad=false和detach不影响效果，是因为只看到了输出结果的不变，没有意识到计算时间和空间需求的变化，而这两点的确是不那么容易监测出来的。另一方面是对反向传播算法的不熟练。以后下结论不能那么武断了，做实验也要学会控制变量和观察实验结果。的确写代码应该追求简洁，不写冗余的代码。这就需要分清冗余与否。

以上认识也可能和

这就印证了认识真理的反复性、前进性和上升性。