记录一个惨痛的教训,正在复现ranger优化器。花了两天时间调试,不是试图在优化器里去直接修改梯度,因为这不知道什么时候会突然导致你的梯度变为0. 正确做法是将梯度的数据从parameter分离出来,而不是直接对parameter进行操作