【小技巧】关于pytorch中拥有batch的矩阵的相加
最新推荐文章于 2024-07-01 18:44:47 发布
在PyTorch中,当矩阵维度不匹配时,直接相加会导致错误。例如100×512与100×196×512的矩阵相加会报错。为解决这个问题,可以使用reshape来调整维度,如将100×512转为100×1×512,然后与100×196×512相加,使PyTorch能够进行广播操作。需要注意的是,在模型的forward函数中直接对Tensor赋值会破坏autograd graph,影响反向传播。
摘要由CSDN通过智能技术生成