- 博客(2)
- 收藏
- 关注
RSS订阅原创 Improving Language Understanding by Generative Pre-Training
大多数深度学习方法需要大量的手动标记数据，这限制了它们在许多缺乏注释资源的领域的适用性利用未标记数据中的语言信息的模型为收集更多的注释提供了一种有价值的替代方案，在可以进行大量监督的情况下，以无监督的方式学习良好的表示也可以显著提高性能在这之前最成功的是Word2vec利用未标记文本中的挑战性？目前尚不清楚哪种类型的优化目标在学习对迁移有用的文本表示方面最有效。其次，对于将这些学习到的表征转移到目标任务的最有效方法，还没有达成共识。
2023-04-05 19:16:52
60
1
原创 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
训练数据生成器随机选择15%的令牌位置进行预测，如果第i个令牌被选中，我们将第i个令牌替换为(1)80%的时间为[MASK]令牌(2)10%的时间为随机令牌(3)10%的时间为不变的第i个令牌。比如"loved",“loving”,“loves"这三个单词，BPE算法通过训练，能够把上面的3个单词拆分成"lov”,“ed”,“ing”,"es"几部分，这样可以把词的本身的意思和时态分开，有效的减少了词表的数量。在问答任务中，我们将输入的问题和文章表示为单个打包序列，问题使用a嵌入，文章使用B嵌入。
2023-04-05 19:10:44
118
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人