【AI达人创造营第二期】基于LSTM的现代诗生成器

转载自AI Studio 项目链接https://aistudio.baidu.com/aistudio/projectdetail/3458536?contributionType=1

基于LSTM自动生成现代诗

项目背景

情因诗而高贵，诗因情而流传。看到现在的古诗生成技术已经炉火纯青，做出的故事真假难辨。但是，身为一名21世纪的青年，我貌似更加喜欢现代诗一点，因为它让人读不懂……好叭，我自己写的也是。

然鹅，自己写的诗篇实在太烂了，真的不好意思拿出手送给自己的npy，于是，正巧最近学习了LSTM模型，于是通过参考诸多大佬的文本生成的相关项目，加上参考了诸多大佬的项目，才有了本项目的诞生。

数据集使用

本项目一共使用了两个数据集。

现代情诗的数据集，是我通过网络爬虫爬取的现代诗，大致有2000首。
古诗集数据，考虑到数据集1的仅有0.5M，数据量较少，所以混合了部分古诗数据进行训练。

LSTM模型简介

LSTM是一种非常流行的循环神经网络，相比较于simpleRNN对于较长的句子理解能力较差（因为RNN不加选择地更新ceil state，导致对于前文地信息地丢失），而LSTM通过增加四个逻辑门，有选择地更新ceil state，这使得LSTM对于长文本语义理解上下推断有着更加好地效果。
具体地原理有很多大佬讲过，大家可以看看这份写的相当透彻的Understanding LSTM network。

效果演示

我寄愁心与明月 一棵落落山染来 我沿着一匹回银花的曲子高走短过的那样 我已是那么都在秋天 没有停动地流动一根线儿 一个人在他的身口里 你的手里还在我的身送面指成远 我不成日亮 你不会把彼此装上

我寄愁心与明月。都将别，一回一回，莫问无情何。

无事无人知，无生无与非

模型训练和模型评估

详细的训练流程在参见model_LSTM.ipynb，其中很全面地写了注释和核心思想。

文件组织

main.ipynb可以直接拿过来玩，自动加载训练好的模型
model_LSTM.ipynb是训练文件，写了详细的注释，调用它则可以训练自己的模型。
【静态图测试】文件夹被废弃了。。。原本打算导出静态图模型但遇到了一点点问题，挖个坑回头解决
【models】文件夹存放了不同数量样本训练好的两个模型，可以直接调用
【vocab】文件夹存放用于制作词汇表的数据

加载模型进行测试

# 导入相关依赖
from paddle.io import Dataset
import paddle.fluid as fluid
import numpy as np
import paddle
import paddle.nn
from paddlenlp.embeddings import TokenEmbedding
from paddlenlp.data import JiebaTokenizer,Vocab
import visualdl

# 定义超参数
class Config(object):
    # version = 'models/version1-modern/version1.pdparams' # 现代诗风格
    version = 'models/version2-ancient/version2.pdparams' # 古体诗风格
    maxl = 120
    filepath = "vocab/poems_without_title.txt"
    filepath2 = "vocab/poems_zh.txt"
    embedding_dim = 300
    hidden_dim = 512
    num_layers = 3

    max_gen_len = 150
    prefix = "爱你一生一世" # 前置风格，可以调整生成文本的风格
    beginning = "陪伴是最长情的告白" # 需要给出诗篇的开头，模型进行续写

config = Config()

# 加载词汇表vocab
dic = {'[PAD]':0,'<start>':1,'<end>':2,'[UNK]':3}
cnt=4
with open (config.filepath) as fp:
    for line in fp:
        for char in line:
            if char not in dic:
                dic[char] = cnt
                cnt+=1

with open (config.filepath2) as fp:
    for line in fp:
        for char in line:
            if char not in dic:
                dic[char] = cnt
                cnt+=1

vocab = Vocab.from_dict(dic,unk_token='[UNK]')

# 加载模型
class Poetry(paddle.nn.Layer):
    def __init__(self,vocab_size,embedding_dim,hidden_dim):
        super().__init__()
        self.embeddings = paddle.nn.Embedding(vocab_size,embedding_dim)
        self.lstm = paddle.nn.LSTM(
            input_size=embedding_dim,
            hidden_size=hidden_dim,
            num_layers=config.num_layers,
        )
        self.linear = paddle.nn.Linear(in_features=hidden_dim,out_features=vocab_size)

    def forward(self,input,hidden=None):
        batch_size, seq_len = paddle.shape(input)
        embeds = self.embeddings(input)
        if hidden is None:
            output,hidden = self.lstm(embeds)
        else:
            output,hidden = self.lstm(embeds,hidden)
        output = paddle.reshape(output,[seq_len*batch_size,Config.hidden_dim])
        output = self.linear(output)
        return output,hidden

poetry = Poetry(len(vocab),config.embedding_dim,config.hidden_dim)
poetry.set_state_dict(paddle.load(config.version))

results = [i for i in config.beginning]
start_words_len = len(results)
input = (paddle.to_tensor(vocab("<start>"))).reshape([1,1])
hidden = None
if config.prefix:
    words = [i for i in config.prefix]
    for word in words:
        _, hidden = poetry(input, hidden)
        input = (paddle.to_tensor(vocab(word))).reshape([1,1])

for i in range(config.max_gen_len):
    output, hidden = poetry(input, hidden)
    if i < start_words_len:
        word = results[i]
        input = (paddle.to_tensor(vocab(word))).reshape([1,1])
    else:
        _,top_index = paddle.fluid.layers.topk(output[0],k=1)
        top_index = top_index.item()
        word = vocab.to_tokens(top_index)
        results.append(word)
        input = paddle.to_tensor([top_index])
        input = paddle.reshape(input,[1,1])
    if word == '<end>':
        del results[-1]
        break
results = ''.join(results)
print(results)

陪伴是最长情的告白 我说着，这么多么多么我的人 我说不用我的爱人 我不敢给你这样的姿态 我会会会在你的胃 我不会把你说这一片 一些小天的影子，你的影子一样一样秋水 一只是，你不可小人。你说不能在你：你证我一杯的我坐 在我的背上望在你头上你的脖子 你说起去

项目总结

这是一个关于LSTM模型的一个尝试，其核心是使用LSTM对下一个字进行预测而实现文本生成的目的。从实际表现来看，模型确实学会了一些东西，比如如何使用标点分割句子，如何组织短语，句子的主谓宾该如何分布。
考虑到数据集仍然十分小，只有500KB，对于文本生成的任务来说还是太小了，所以任然会出现让人费解的语句。对比来看，在古诗数据集上进行训练的模型更胜一筹（数据集有足足45M），所以增添数据是提升模型的一个途径。
现在使用LSTM进行文本生成其实已经是被大佬们玩烂掉的技术，所以要努力学习更加先进的模型啊~
这是我的第一个公开项目，希望大家喜欢~