深度学习
文章平均质量分 53
warpin
这个作者很懒,什么都没留下…
展开
-
R-Drop pytorch实现
Pytorch实现了R-Drop,可以用于训练分类模型。# -*- coding: utf-8 -*-"""Description : An implementation of R-Drop (https://arxiv.org/pdf/2106.14448.pdf).Authors : lihpCreateDate : 2021/8/24"""from torch import nnfrom torch.nn import functional as Fclass RDro原创 2021-08-24 20:10:38 · 3203 阅读 · 26 评论 -
调试The Annotated Transformer
The Annotated Transformer 应该是我见过最贴心的‘Attention is All You Need’的复现了。看网页链接像是哈佛大学复现的,质量应该还不错,于是就照着代码按顺序ctrl + c +v了一遍。其实在github上也有代码可以直接下载,只不过是.ipynb格式的。在调试代码的过程中,遇到了一些问题,在这里记录一下。1 环境安装作者没有说明每个依赖库的版本,以下是我个人的版本,可以参考。python==3.8.8torch==1.9.0numpy==1.20.原创 2021-07-10 17:37:22 · 1055 阅读 · 17 评论