tensorflow代码全解析 -3- seq2seq 自动生成文本

模型概述

序列建模seq2seq,给定一个序列A，模型生产另一个序列B，然后模型再由序列B生成C,以此一直持续下去。

基本工作流程如下：
序列A中的每一个单词通过word_embedding操作以后，作为input进seq2seq入模型，模型生成同样维度的序列A_out
训练的时候，模型的输出序列A_out与序列B之间的交叉熵作为模型的目标函数，采用clip控制过的梯度进行收敛；
生成的时候，首先给定一个种子序列作为模型输入，初始化模型，让模型可以自循环，并生产指定长度的序列

模型数据流

第一部分：生成数据

数据源 JayLyrics.txt

dataGenerator.py
定义参数

log_dir = './logs'
seq_length = 20 # 每一个序列的长度
batch_size = 32 #每一个batch的长度
datafiles = 'JayLyrics.txt'

读取文本，进行词频统计，将文本与数字进行一一对应，方便进行处理

with open(datafiles, encoding='utf-8') as f:
    data = f.read()
total_len = len(data)
words = list(set(data))
words.sort()
vocab_size = len(words)
char2id_dict = {w: i for i, w in enumerate(words)}
id2char_dict = {i: w for i, w in enumerate(words)}

进行这一步之后可以得到

将上面的数据对应表进行存储，注意tsv与csv格式不同，是以tab进行分隔的

_pointer = 0
def char2id( c):
    return char2id_dict[c]

def id2char(id):
    return id2char_dict[id]

metadata = 'metadata2.tsv'
def save_metadata(file):
    with open(file, 'w') as f:
        f.write('id\tchar\n')
        for i in range(vocab_size):
            c = id2char(i)
            f.write('{}\t{}\n'.format(i, c))
save_metadata(metadata)

下面进行关键的将原始文本转换为输入数据序列和输入标签
我们可以看到,文本数据与训练数据集是如何进行转换的。