Keras实现Seq2Seq预测模型

一个基于keras实现seq2seq(Encoder-Decoder)的序列预测例子

NLP中常见任务的开源解决方案、数据集、工具、学习资料

• 序列预测问题描述：

• 输入序列为随机产生的整数序列，目标序列是对输入序列前三个元素进行反转后的序列，当然这只是我们自己定义的一种形式，可以自定义更复杂的场景。

输入序列		                目标序列
[13, 28, 18, 7, 9, 5]		[18, 28, 13]
[29, 44, 38, 15, 26, 22]	[38, 44, 29]
[27, 40, 31, 29, 32, 1]		[31, 40, 27]
...

• 输入序列与目标序列的构造及向量化

from numpy import array
from numpy import argmax
from keras.utils import to_categorical
 
# 随机产生在(1,n_features)区间的整数序列，序列长度为n_steps_in
def generate_sequence(length, n_unique):
	return [randint(1, n_unique-1) for _ in range(length)]
 
# 构造LSTM模型输入需要的训练数据
def get_dataset(n_in, n_out, cardinality, n_samples):
	X1, X2, y = list(), list(), list()
	for _ in range(n_samples):
		# 生成输入序列
		source = generate_sequence(n_in, cardinality)
		# 定义目标序列，这里就是输入序列的前三个数据
		target = source[:n_out]
		target.reverse()
		# 向前偏移一个时间步目标序列
		target_in = [0] + target[:-1]
		# 直接使用to_categorical函数进行on_hot编码
		src_encoded = to_categorical(source, num_classes=cardinality)
		tar_encoded = to_categorical(target, num_classes=cardinality)
		tar2_encoded = to_categorical(target_in, num_classes=cardinality)
		
		X1.append(src_encoded)
		X2.append(tar2_encoded)
		y.append(tar_encoded)
	return array(X1), array(X2), array(y)
 
# one_hot解码
def one_hot_decode(encoded_seq):
	return [argmax(vector) for vector in encoded_seq]
 
# 输入参数
n_features = 50 + 1
n_steps_in = 6
n_steps_out = 3
# 生成处理后的输入序列与目标序列，这里测试产生了一个序列样本
X1, X2, y = get_dataset(n_steps_in, n_steps_out, n_features, 1)
print(X1.shape, X2.shape, y.shape)
print('X1=%s, X2=%s, y=%s' % (one_hot_decode(X1[0]), one_hot_decode(X2[0]), one_hot_decode(y[0])))

# 结果如下：
(1, 6, 51) (1, 3, 51) (1, 3, 51)
X1=[32, 16, 12, 34, 25, 24], X2=[0, 12, 16], y=[12, 16, 32]

• 构造Seq2Seq模型&#