- 博客(2)
- 收藏
- 关注
RSS订阅原创 论文阅读与理解记录：BERT: Pre-training of Deep Bidirectional Transformer for Language Understanding
具体做法是：我们在语料库中挑选出来两个句子，句子A和句子B，来组成一个训练样本，50%的情况句子B是真实的句子A的下文（标注为IsNext），50%的情况是随机挑选的句子（标注为NotNext）。根据前面所提到的，token embedding也就是输入的字符的语义分解，segment embedding是涉及到两句话的输入需要对句子的从属关系做出表征，而position embedding则是对于token的位置的表征。模型的任务是根据上下文中的其他词语来预测被屏蔽的词语。
2023-10-20 20:28:58
51
1
原创 论文阅读：Attention Is All You Need
本篇阅读学习理解记录参考了：论文阅读+理解：Attention is All You Need-CSDN博客学习参考了李沐的视频：https://www.bilibili.com/video/BV1pu411o7BE文章：https://arxiv.org/abs/1706.03762代码：GitHub - tensorflow/tensor2tensor: Library of deep learning models and datasets designed to make deep le
2023-10-15 00:39:56
82
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人