1,首先明确requires_grad都是为True的,是否启动了反向传播
2,loss是正常计算的
3,排查是否是device的问题,是否是模型和参数所在的设备不同,将device删除后仍然全部为None
4,确认损失函数和优化器的配置正确
5,排查是否是Model的问题,可以写一个简单的测试函数,随机输入数据来观察是否有反向传播,结果发现测试函数反向传播正常
可以确定是Agent代码中出现了问题。
6,确定是loss函数的问题,loss函数的计算再调用了mes loss function后正常反向传播。