如何查看bert等模型的梯度，用pytorch

最新推荐文章于 2023-09-11 07:43:17 发布

鹰立如睡

最新推荐文章于 2023-09-11 07:43:17 发布

阅读量642

点赞数

分类专栏：自然语言处理 pytorch 文章标签： pytorch bert 人工智能

本文链接：https://blog.csdn.net/LVGAOYANH/article/details/121061299

版权

自然语言处理同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

pytorch

4 篇文章 0 订阅

订阅专栏

print("=============更新之前===========")
temp = 0 #控制打印的参数个数
for name, parms in model.named_parameters():
    temp += 1
    if temp == 2:
        break
    print('-->name:', name)
    print('-->para:', parms)
    print('-->grad_requirs:', parms.requires_grad)
    print('-->grad_value:', parms.grad)
    print("===")

print("=============更新之后===========")
temp = 0 ##控制打印的参数个数
for name, parms in model.named_parameters():
    temp += 1
    if temp == 2:
        break
    print('-->name:', name)
    print('-->para:', parms)
    print('-->grad_requirs:', parms.requires_grad)
    print('-->grad_value:', parms.grad)
    print("===")
print(optimizer)