【TensorFlow】Seq2Seq模型的代码实现 & attention机制

import tensorflow as tf

SRC_TRAIN_DATA = '/path/to/data/train.en'  # 源语言输入文件
TRG_TRAIN_DATA = '/path/to/data/train.zh'  # 目标语言输入文件
CHECKPOINT_PATH = '/path/to/seq2seq_ckpt' 
HIDDEN_SIZE = 1024
NUM_LAYERS = 2
SRC_VOCAB_SIZE = 10000
TRG_VOCAB_SIZE = 4000
BATCH_SIZE = 100
NUM_EPOCH = 5
KEEP_PROB = 0.8
MAX_GRAD_NPRM = 5 # 用于控制梯度膨胀的梯度大小上限
SHARE_EMB_AND_SOFTMAX = TRUE # 在Softmax层和词向量层之间共享参数

class NMTModel(object):
	def __init__(self):
		# 定义编码器和解码器所使用的LSTM结构
		self.enc_cell = tf.nn.rnn_cell.MultiRNNCell(
			[tf.nn.rnn_cell.BasicLSTMCell(HIDDEN_SIZE) for _ in range((NUM_LAYERS)])
		self.dec_cell = tf.nn.rnn_cell.MultiRNNCell(
			[tf.nn.rnn_cell.BasicLSTMCell(HIDDEN_SIZE) for _ in range((NUM_LAYERS)])
		
		# 为源语言和目标语言分别定义词向量
		self.src_embedding = tf.get_variable("src_emb", [SRC_VOCAB_SIZE, HIDDEN_SIZE])
		self.trg_embedding = tf.get_variable("trg_emb", [TRG_VOCAB_SIZE, HIDDEN_SIZE])

		# 定义softmax层的变量
		# ! 词向量是(vocab_size, hidden_size), softmax层是(hidden_size, vocab_size)，所以要转秩。因为共享词向量层和softmax层的参数，不仅能大幅减少参数数量，还能提高最终模型效果
		if SHARE_EMB_AND_SOFTMAX:
			self.softmax_weight = tf.transpose(self.trg_embedding) 
		else：
			self.softmax_weight = tf.get_variable("weight", [HIDDEN_SIZE, TRG_VOCAB_SIZE])
		self.softmax_biases = tf.get_variable("biases", [TRG_VOCAB_SIZE])

	# 在forward函数中定义模型的前向计算图
	def forward(self, src_input, src_size, trg_input, trg_label, trg_size):
		batch_size = tf.shape(src_input)[0]

		# 将输入和输出单词编号转为词向量
		src_emb = tf.nn.embedding_lookup(self.src_embedding, src_input)
		trg_emb = tf.nn.embedding_lookup(self.trg_embedding, trg_input)

		# 在词向量上进行dropout
		src_emb = tf.nn.dropout(src_emb, KEEP_PROB)
		trg_emb = tf.nn.dropout(trg_emb, KEEP_PROB)

		# 使用dynamic_rnn构造编码器，dynamic_rnn对每一个batch的数据读取两个输入，输入数据的内通和输入数据的长度。对于batch里的每一条数据，在读取了相应长度的内容后，dynamic_rnn就跳过后面的输入，直接把前一步的计算结果复制到后面的时刻。
		# 编码器读取源句子每个位置的词向量，输出最后一步的隐藏状态enc_stat