mini textmatch 模型 + 人造少量数据，打印观测 attention 值的情况，以理解attention，或看设计的match计算模块是否有用

FocusOneThread

于 2018-11-14 14:46:51 发布

阅读量350

点赞数

分类专栏：深度学习 TensorFlow 自然语言处理

本文链接：https://blog.csdn.net/guotong1988/article/details/84066376

版权

TensorFlow 同时被 3 个专栏收录

230 篇文章 11 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

深度学习

212 篇文章 5 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

自然语言处理

166 篇文章 4 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

通过使用mini textmatch模型并制造少量数据，本文旨在观察和理解attention机制的工作原理。通过对attention权重的打印和分析，可以揭示哪些词对之间的匹配对最终结果产生了最大影响，从而评估设计的match计算模块的有效性。

摘要由CSDN通过智能技术生成

import tensorflow as tf

# tf.enable_eager_execution()
batch_size = 2
seq_length = 3
word2id = {}
word2id["love"] = 0
word2id["you"] = 1
word2id["hate"] = 2
word2id["I"] = 3
embedding_dim = 20
seq1 = tf.placeholder(name="seq1",shape=[batch_size,seq_length],dtype=tf.int32)
seq2 = tf.placeholder(name="seq2",shape=[batch_size,seq_length],dtype=tf.int32)
y = tf.placeholder(name="yy",shape=[batch_size],dtype=tf.float32)
word_embedding = tf.get_variable("word_embedding", trainable=True,
                                 shape=[len(word2id),embedding_dim], dtype=tf.float32)
seq1_ = tf.nn.embedding_lookup(word_embedding,seq1)