论文学习
努力努力再努力F_
这个作者很懒,什么都没留下…
展开
-
自注意机制论文学习: On the Relationship between Self-Attention and Convolutional Layers
背景transformer的提出对NLP领域的研究有很大的促进作用,得益于attention机制,特别是self-attention,就有研究学者将attention/self-attention机制引入计算机视觉领域中,也取得了不错的效果[1][2]。该论文[4]侧重于从理论和实验去验证self-attention[3]可以代替卷积网络独立进行类似卷积的操作,给self-attention在图像领域的应用奠定了坚实的基础论文理论部分(1)多头自注意机制定义X∈RT×DinX\in \math原创 2020-07-27 17:28:13 · 2133 阅读 · 0 评论 -
self-attention/attention学习
self-attention/attention/在文本语义领域的区别参考文献原创 2020-07-17 10:43:53 · 164 阅读 · 0 评论 -
PCA,AE,VAE,RPCA,概率PCA之间的联系与区别
自动编码器原创 2019-06-16 11:19:33 · 5392 阅读 · 0 评论 -
元学习总结
前言人工智能发展路线:Artificial Intelligence --> Machine Learning --> Deep Learning -->Deep Reinforcement Learning --> Deep Meta Learning在Machine Learning时代,复杂一点的分类问题效果就不好了,Deep Learning深度学习的出现...原创 2019-11-12 17:20:55 · 205 阅读 · 0 评论