在不使用dense的时候可以使用下面的方法生成全连接
attention_w = tf.Variable(tf.truncated_normal([hidden_size, attention_size], stddev=0.1), name='attention_w')
attention_b = tf.Variable(tf.constant(0.1, shape=[attention_size]), name='attention_b')
attention_u = tf.Variable(tf.truncated_normal([attention_size], stddev=0.1), name='attention_u')
这需要设置好shape,容易出现问题,代码多