- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 The Illustrated Transformer【译】
前言 翻译一篇非常赞的解释Transformer的文章，原文链接。在之前的文章中，Attention成了深度学习模型中无处不在的方法，它是种帮助提升NMT（Neural Machine Translation）的翻译效果的思想。在本篇博客中，我们解析下Transformer，该模型扩展Attention来加速训练，并且在Google的NMT中表现突出。然而，其最大的好处是可并行。实际上谷歌云...
2018-12-23 11:28:08
79168
47
原创 Bert源码阅读
前言 对Google开源出来的bert代码，来阅读下。不纠结于代码组织形式，而只是梳理下其训练集的生成，训练的self-attention和multi-head实现，它的具体实现和论文里写的还是有很大差别的。 训练集的生成 主要实现在create_pretraining_data.py和tokenization.py两个脚本里。输入文本格式举例，下面是两篇文章外加一篇空文章。两篇文章之间...
2018-12-22 23:11:41
7115
4
原创 Bert论文阅读
前言 Google又出新作，Bert：Pre-training of Deep Bidirectional Transformers，号称在11项测试中取得了牛逼的效果。主要是将之前的Transform加上更为泛化的预训练，得到了很好的语言表达模型。 Transformer 这个模型，来自17年的"attention is all you need&
2018-12-02 16:59:24
3693
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人