![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习打卡
文章平均质量分 96
粥十元的赚赚要努力奔跑
社会很现实,末位淘汰
展开
-
深度学习-Graph Transformer Networks相关
Graph Transformer NetworksHeterogeneous Graph(异质图)meta-path(元路径)针对元路径的attentionHeterogeneous Graph Transformer:Heterogeneous Graph(异质图)图中每个节点有不同的类型,由这些节点之间关系定义的连边也有不同类型,如下例子:区分:同质图:图中所有节点的类型都相同,边类型只有一种的标准图meta-path(元路径)沿着节点的多跳路径,例如PVP,PFP,IAPPVP, PF原创 2021-05-09 19:55:10 · 829 阅读 · 0 评论 -
深度学习-Transformer/Attention
Transformer/AttentionSelf-Attention理解图示如何获得Q, K, V并计算?Multi-Headed AttentionMaskSelf-Attention理解以如下句子作为输入:I like Natural Language Processing , a lot !根据 'Attention is all you need’这篇文章,encoder需通过Scaled Dot-Product Attention mechanism(通过 query 和 key 的原创 2021-05-04 22:32:08 · 245 阅读 · 0 评论 -
深度学习-GAN背景知识
汇报GAN定义loss三级目录GAN定义lossGANs可以看成一个博弈,博弈双方都会有cost,如果是零和博弈,那么双方的cost之和为0。Discriminator是一个二元分类器,它的loss可以定义用交叉熵来定义: J(D)(θ(D),θ(G))=−12Ex∼PdatalogD(x)−12Ex∼PGlog(1−D(G(z)))J^{(D)}(\theta^{(D)},\theta^{(G)})=-\frac {1}{2}E_{x \sim P_{data}}logD(x)-\frac {1}{原创 2021-05-02 22:08:11 · 394 阅读 · 2 评论