通道注意力机制keras_【干货】基于Keras的注意力机制实战

【导读】近几年，注意力机制(Attention)大量地出现在自动翻译、信息检索等模型中。可以把Attention看成模型中的一个特征选择组件，特征选择一方面可以增强模型的效果，另一方面，我们可以通过计算出的特征的权重来计算结果与特征之间的某种关联。例如在自动翻译模型中，Attention可以计算出不同语种词之间的关系。本文一个简单的例子，来展示Attention是怎么在模型中起到特征选择作用的。

代码

导入相关库

#coding=utf-8

import numpy as np

from keras.models import *

from keras.layers import Input, Dense, merge

import matplotlib.pyplot as plt

import pandas as pd

数据生成函数

# 输入维度

input_dim = 32

# 生成数据，数据的的第attention_column个特征由label决定，

# 即label只与数据的第attention_column个特征相关

def get_data(n, input_dim, attention_column=1):

x = np.random.standard_normal(size=(n, input_dim))

y = np.random.randint(low=0, high=2, size=(n, 1))

x[:, attention_column] = y[:, 0]

return x, y

模型定义函数

将输入进行一次变换后࿰