torch 小结
Walter Wu
衣带渐宽终不悔; 为伊消得人憔悴。
展开
-
torch多GPU加速
在具体使用pytorch框架进行训练的时候,发现实验室的服务器是多GPU服务器,因此需要在训练过程中,将网络参数都放入多GPU中进行训练。正文开始:涉及的代码为torch.nn.DataParallel,而且官方推荐使用nn.DataParallel而不是使用multiprocessing。官方代码文档如下:nn.DataParallel教程文档如下:tutorial...转载 2019-08-29 19:44:17 · 1486 阅读 · 0 评论 -
hook 实现梯度可视化
hook_fn(module, grad_input, grad_output) -> Tensor or None它的输入变量分别为:模块,模块输入端的梯度,模块输出端的梯度。需要注意的是,这里的输入端和输出端,是站在前向传播的角度的,而不是反向传播的角度。例如线性模块:o=W*x+b,其输入端为 W,x 和 b,输出端为 o。如果模块有多个输入或者输出的话,grad_input和...转载 2019-09-12 15:01:53 · 1880 阅读 · 0 评论