AI论文
JerryLu-CN
这个作者很懒,什么都没留下…
展开
-
【转载】Transformer vs CNN vs RNN 时间复杂度比较
内容本身来自于《Attention Is All You Need》原论文以下翻译转载自https://www.cnblogs.com/nxf-rabbit75/p/11945195.html一、问题限定及结论:假设输入序列长度为n,每个元素的维度为????:{????1,…,????????},输出序列长度也为n,每个元素的维度也是d:{????1,…,????????},从每层的计算复杂度、并行的操作数量、学习距离长度三个方面比较Transformer、CNN、RNN三个特征提取器:二、分析转载 2020-07-30 15:21:50 · 4795 阅读 · 1 评论 -
BERT 基于transformer的语言模型 阅读笔记
bert模型的初衷通过预训练为无标记的文本提供基于上下文信息的双向特征表征。实验证明,bert模型的结果只需要通过fine-tune输出层就能在很多nlp问题上取得非常不错的效果,大幅提高了很多nlp任务的分数原创 2020-07-24 14:44:47 · 559 阅读 · 0 评论 -
Transformer《Attention Is All You Need》阅读笔记
Transformer可以说是NLP划时代的论文,之后的bert等模型都借鉴了Transformer的attention机制原创 2020-07-24 14:44:56 · 334 阅读 · 0 评论