神经网络模型
Chihk-Anchor
这个作者很懒,什么都没留下…
展开
-
transformer 模型(self-attention自注意力)
transformer模型在《Attention is all you need》论文中提出这篇论文主要亮点在于:1)不同于以往主流机器翻译使用基于RNN的seq2seq模型框架,该论文用attention机制代替了RNN搭建了整个模型框架。2)提出了多头注意力(Multi-headed attention)机制方法,在编码器和解码器中大量的使用了多头自注意力机制(Multi-headed s...原创 2019-01-08 19:57:21 · 78747 阅读 · 11 评论 -
图网络模型原理详解(Graph Network)
《Relational inductive biases, deep learning, and graph networks》这篇论文包含了一部分新研究、一部分回顾和部分统一结论,这篇文章涉及到的很多知识面,涉及到联结主义、行为主义、符号主义,其本身的模型并不难,但是要理解其提出来的背景及相关知识联系,和其研究的深层含义就需要慢慢品读其中的参考文献了。这篇论文是DeepMind联合谷歌大...原创 2019-01-22 11:14:21 · 42501 阅读 · 3 评论