TensorFlow使用RNN生成文本

TensorFlow使用RNN生成文本

---

前言

继续上一节的RNN进行文本分类，本节学习RNN生成文本
LSTM原理说明

---

一、数据预处理

数据预处理主要的过程有：加载文本数据，数据编码，构建DataSet,在DateSet里操作构建训练数据和目标数据，最后构建一个训练数据集和测试集（生成文本不用测试集合，因为生成的东西没有标准可以来判断，最多人来读一下评价评价。）

import tensorflow as tf

import numpy as np
import os
import time
# 加载观察数据
path_to_file = tf.keras.utils.get_file('/content/drive/My Drive/Colab Notebooks/data/names/shakespeare.txt', 'https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txt')
text = open(path_to_file, 'rb').read().decode(encoding='utf-8')
# 文本中的非重复字符
# sorted新建一个有序的变量，set能产出字符级别的list
vocab = sorted(set(text))
print(vocab)
print ('{} unique characters'.format(len(vocab)))
# 创建训练样本和目标
# 创建从非重复字符到索引的映射
char2idx = {
   u:i for i, u in enumerate(vocab)}
idx2char = np.array(vocab)
#对文本进行编码
text_as_int = np.array([char2idx[c] for c in text])
# print(char2idx)
# print(idx2char)
# print(text_as_int)
# >>>a = [1,2,3]
# >>> b = [4,5,6]
# >>> c = [4,5,6,7,8]
# >>> zipped = zip(a,b)     # 打包为元组的列表
# [(1, 4), (2, 5), (3, 6)]
# >>> zip(a,c)              # 元素个数与最短的列表一致
# [(1, 4), (2, 5), (3, 6)]
# >>> zip(*zipped)          # 与 zip 相反，*zipped 可理解为解压，返回二维矩阵式
# [(1, 2, 3), (4, 5, 6)]
# print('{')
# for char,_ in zip(char2idx, range(20)):
#     print('  {:4s}: {:3d},'.format(repr(char), char2idx[char]))
# print('  ...\n}')
# print(list(zip(char2idx, range(20))))
# print(list(range(20)))
# 设定每个输入句子长度的最大值
seq_length = 100
examples_per_epoch = len(text)//seq_length

# 创建训练样本 / 目标
# 对于每个输入序列，其对应的目标包含相同长度的文本，但是向右顺移一个字符。
# 将文本拆分为长度为 seq_length+1 的文本块。例如，假设 seq_length 为 4 
# 而且文本为 “Hello”， 那么输入序列将为 “Hell”，目标序列将为 “ello”。
# 文本向量转换为字符索引流就是转为一个dataset
char_dataset = tf.data.Dataset.from_tensor_slices(text_as_int)
# print(list(char_dataset.