Zamirquito的博客

原创 Self-Attention GAN的一些理解

其实那么多的attention机制，说白了就是一句话，重新分配权重，比如说现在有一个n维向量[x1, x2, x3..., xn]，我觉得x1的值不足以代表其真实情况，所以希望利用x2,...xn的值来对其进行“修补”, 然后就是要找到一组权重w1, w2, w3...wn, 对其求加权平均（也不一定是加权平均，看实际需求）来得到x1的最终值（当然，实际应用中会涉及到一些维度映射，Query-Ke...