Self-Attention GAN的一些理解
其实那么多的attention机制,说白了就是一句话,重新分配权重,比如说现在有一个n维向量[x1, x2, x3..., xn],我觉得x1的值不足以代表其真实情况,所以希望利用x2,...xn的值来对其进行“修补”, 然后就是要找到一组权重w1, w2, w3...wn, 对其求加权平均(也不一定是加权平均,看实际需求)来得到x1的最终值(当然,实际应用中会涉及到一些维度映射,Query-Ke...
原创
2018-12-20 10:33:07 ·
9667 阅读 ·
0 评论