![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI解决方案
文章平均质量分 84
王小燊oom
我溢出了
展开
-
Transformer学习
encoder和decoder基本一样,decoder多了一个masked mutil-head attention。因为decoder计算每次都依赖前一个节点的输出,所以a_n只能看到1~n个节点的输出。NAT的表现通常不如AT。原因:multi-modality。增加一个停止token,一般来会跟begin用一个符号。因为有的语言没有文字,比如将狗叫翻译出来。将任务转化成翻译任务,硬训一发,效果不错。原创 2023-10-05 22:20:10 · 330 阅读 · 0 评论 -
Transformer学习-self-attention
cnn就是self-attention的特例。self-attention更灵活,但是如果训练集小可能更容易过拟。5. self-attention for Graph:用attention来表示nodes之间的关联。原创 2023-10-03 17:00:09 · 398 阅读 · 0 评论 -
MMCV+pytorch1.10+cu11.x离线安装踩坑记录
mmcv/mmdet/mmpose/mmengine 依赖的其他wheel包对python版本有要求,安装过程中请注意!mmdet、mmpose、mmengine在pypi仓库可以找到对应python版本的包,直接下载安装。方案:参照第一节重新安装pytorch,如果问题没有解决再参照第二节重新安装mmcv。如果仍然报错,可能是pytorch版本不对,参照第一节重新安装pytorch。方案:卸载mmcv-full、mmcv,重新安装mmcv2.0.0rc4。原创 2023-08-28 10:09:30 · 1510 阅读 · 0 评论