Attention函数手册

Attention基本公式及其变种

一元@炼丹笔记

目前的诸多机器学习相关的问题，诸如推荐问题中的序列处理，时间序列的预测，文本分类等问题都会涉及到Attention函数的使用，Attention已经成为了这些问题在建模时的最为核心的模块。

而我们在实践的过程中发现，attention计算方式的不同对于不同的问题会有些许影响,有的时候影响还很大，所以在本文我们看看有哪些常用的attention函数。