Transformer
文章
- Transformer是如何实现机器翻译的?
- log_softmax与softmax的区别
- Transformer理论源码细节详解
- Transformer 代码复现+详解
- Transformer 中的 attention 原理
- Attention-is-all-you-need (github)
视频
BERT
pytorch 课程
其他
- 获取神经网络中不同中间层的输出(三种方法)
- Pytorch 进行知识蒸馏
- Hugging Face 中文预训练模型使用介绍及情感分析项目实战
- Jieba分词词性标注以及词性说明
- pytorch Embedding 层中的 pad_index 的作用
- 那个屠榜的T5模型,现在可以在中文上玩玩了
- 关键词提取方案(知乎)
- docx 后缀文件读取
Prompt learning
文本风格迁移论文列表
GPT2
为什么 GPT2 要使用 bpe 编码的方式