2018年12月_yangdelong

12月 08月 07月 06月 05月

转载 Attention in RNN

https://zhuanlan.zhihu.com/p/42724582在传统的RNN Encoder-Decoder模型中，在编码的过程中，将时的状态和时刻的数据输入到时刻的RNN单元中，得到时刻的状态，经过个时间片后，得到长度等于隐节点数量的特征向量。在解码的过程中，将特征向量和上个时间片预测的输出输入到RNN的单元中，得到该时刻的输出，经过 ...

2018-12-18 17:33:57 1369

转载详解Transformer （Attention Is All You Need）

https://zhuanlan.zhihu.com/p/48508221前言注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深...

2018-12-18 17:30:12 12620 4

转载 BERT详解

https://zhuanlan.zhihu.com/p/48612853前言BERT（Bidirectional Encoder Representations from Transformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点：使用了Transforme...

2018-12-18 17:16:36 32553 3

转载 2018 AI 领域研究热点总结：BERT最热，GANs最活跃

https://www.toutiao.com/i6636162139948057102/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1&from=singlemessage&timestamp=1545120719&app=news_article&utm_source=weixi...

2018-12-18 16:49:12 960