BIDAF基线模型
模型介绍
详细介绍可参考BiDAF-【论文笔记】
模型的主要特点就是在于双向注意力流层的建立,考虑到问题到文本和文本到问题的两个方向的注意力计算。
模型的输入:文本和问题
模型的输出:通过point_net输出答案的开始和结束位置
对应模型的每一层
self._embed() #问题和文本的embedding
self._encode() #经过bi-lstm得到文本和问题的编码
self._match() #match层 经过注意流层得到融入文本的问题编码和融入问题的文本编码
self._fuse() #fuse层 上一步的输出再次输入到bilstm中得到文本编码
self._decode() #返回答案的开始和结束位置
同时,我们可以在模型的双向注意流层后增加一个self-attention,考虑到文本和文本之间的联系。
不知道改的对不对
def _self_attn(self):
match_p1_encodes=tf.contrib.layers.fully_connected(self.match_p_encodes,num_outputs=self.hidden_size)
#fully_connected创建一个名为的变量weights,表示一个完全连接的权重矩阵,乘以它inputs产生一个 Tensor隐藏单位
match_p2_encodes=tf.contrib.layers.fully_connected(self.match_p_encodes,num_outputs=self.hidden_size)
#相似矩阵
sim_matrix=tf.tanh(match_p1_encodes+match_p2_encodes)
#文本到文本的注意力向量
c2c_attn = tf.matmul(tf.nn.softmax(sim_matrix, -1), self.match_p_encodes)
output= tf.concat([self.match_p_encodes, c2c_attn,
self.match_p_encodes * c2c_attn,], -1)
if self.use_dropout:
self.match_p_encodes = tf.nn.dropout(output, self.dropout_keep_prob)