- 博客(2)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 Transformer五部曲
Transformer：没错，你只需要注意力机制首先先说说自己对 Transformer 理解，我认为它最大的改进有如下几点：提出用注意力机制来直接学习源语言内部关系和目标语言内部关系，而不是像之前用 RNN 来学； 对存在多种不同关系的假设，而提出多头 (Multi-head) 注意力机制，有点类似于 CNN 中多通道的概念； 对词语的位置，用了不同频率的 sin 和 cos 函...
2019-05-13 23:06:43
9340
3
原创 深度学习之文本相似度Paper总结
Tree-based CNN encoders注意这里红框内的拼接部分，除了对pp和hh做简单的拼接之外，还做了p−hp−h，p⋅hp⋅h的操作，作者给出的解释是：The latter two are certain measures of “similarity” or “closeness.”于是最后拼接起来的向量为m=[p;h;p−h;p⋅h]m=[p;h;...
2019-05-17 14:10:56
7902
Capsule+Networks+A+Survey.pptx
胶囊网络：一种全新的富有吸引力的AI架构。大脑肯定有一种机制，将低层次的视觉信息传递到它认为能最好的处理这些信息的胶囊。针对卷积神经网络模型性能不足的领域问题，人们提出了胶囊网络和动态路由算法。。。。
2019-08-10
胶囊网络及NLP应用介绍.pptx
Capsule是什么呢？Capsule是一个你可以想成他想要取代neuron，原来neuron是output一个值， 而Capsule是output一个vector，在其余的部分它的用法你就把它想成是一个一般的neuron。
2019-08-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人