阅读理解实战（二）

BIDAF基线模型

模型介绍

详细介绍可参考BiDAF-【论文笔记】
模型的主要特点就是在于双向注意力流层的建立，考虑到问题到文本和文本到问题的两个方向的注意力计算。
模型的输入：文本和问题
模型的输出：通过point_net输出答案的开始和结束位置

对应模型的每一层
self._embed()    #问题和文本的embedding
self._encode()   #经过bi-lstm得到文本和问题的编码
self._match()    #match层 经过注意流层得到融入文本的问题编码和融入问题的文本编码
self._fuse()     #fuse层 上一步的输出再次输入到bilstm中得到文本编码
self._decode()   #返回答案的开始和结束位置

同时，我们可以在模型的双向注意流层后增加一个self-attention，考虑到文本和文本之间的联系。


不知道改的对不对

def _self_attn(self):
           match_p1_encodes=tf.contrib.layers.fully_connected(self.match_p_encodes,num_outputs=self.hidden_size)
            #fully_connected创建一个名为的变量weights，表示一个完全连接的权重矩阵，乘以它inputs产生一个 Tensor隐藏单位
            match_p2_encodes=tf.contrib.layers.fully_connected(self.match_p_encodes,num_outputs=self.hidden_size)
            #相似矩阵
            sim_matrix=tf.tanh(match_p1_encodes+match_p2_encodes)
            #文本到文本的注意力向量
            c2c_attn = tf.matmul(tf.nn.softmax(sim_matrix, -1), self.match_p_encodes)
            output= tf.concat([self.match_p_encodes, c2c_attn,
                                        self.match_p_encodes * c2c_attn,], -1)
            if self.use_dropout:
                self.match_p_encodes = tf.nn.dropout(output, self.dropout_keep_prob)