动手学深度学习之注意力机制

  所谓注意力就是对新的输入对于原有数据赋予不同的权重。

  $$f(x)=\sum _{i=1}^n\frac{K(x-x_i)}{\sum _{j=1}^{n}K(x-x_j)}{y}_i$$

  其中K是核函数。衡量x和$x_j$距离之间的函数。每一项就得到了相对的重要性。

  其中x是测试集样本的输入，$x_i$或者$x_j$、$y_i$是训练集样本。