加性注意力机制计算注意力得分的公式为
计算注意力分布的公式为
现用pytorch框架实现加性注意力公式
参考
attention-networks-for-classification
用于文本分类的多层注意力模型(Hierachical Attention Nerworks)
用仿真数据跑出来的实验效果截图如下:
加性注意力机制计算注意力得分的公式为
计算注意力分布的公式为
现用pytorch框架实现加性注意力公式
参考
attention-networks-for-classification
用于文本分类的多层注意力模型(Hierachical Attention Nerworks)
用仿真数据跑出来的实验效果截图如下: