动手深度学习pytorch 随手记

1.仅⽀持输⼊⼀个batch的样本不⽀持单个样本输⼊，如果只有单个样本，可使⽤ input.unsqueeze(0) 来添加⼀维。

 

https://blog.csdn.net/tsyccnh/article/details/79163834

 

看到第7章，突然感觉loss跟backward有什么关系？有点懵，我困惑的点是，更新权重的时候是用loss来求导，w' = w-lr*dloss/dx1，那既然loss的公式已经知道了，干嘛还要知道 l = loss(y_predict,y_target)呢？后来发现，在反向传播时，要用到链式求导，这就要用到最后一层的误差，即 l = loss(y_predict,y_target)，因为前面一层的loss是由后面一层的loss来决定的，一层一层的往前推，那在 update w的时候，就要计算 dloss/dx1了，这里x1作为一个样本中的特征之一，当然，总的 dloss/dx1 = dloss/dz*....dm/dx，这里面dloss/dz的计算 其中会包含（y_predict - y_target）那这个就是损失值，所以个人理解，损失值是在计算反向传播时要用到的，这就是为什么 l.loss()  l.backwark(), optimizer.step() 这三步曲。

https://www.cnblogs.com/yanshw/p/10461330.html

https://blog.csdn.net/Arthur_Holmes/article/details/99692267

https://blog.csdn.net/ft_sunshine/article/details/90221691?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&dist_request_id=0c22ba68-9f6d-4047-8719-3bb334e2b1c0&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control

《神经网络与深度学习》