Tensorflow:基于LSTM轻松生成各种古诗

转载 2018年01月06日 00:00:00

0?wx_fmt=gif&wxfrom=5&wx_lazy=1

 向AI转型的程序员都关注了这个号???


大数据挖掘DT数据分析  公众号: datadw


本文代码在公众号 datadw 里 回复 古诗  即可获取。



RNN不像传统的神经网络-它们的输出输出是固定的,而RNN允许我们输入输出向量序列。RNN是为了对序列数据进行建模而产生的。

样本序列性:样本间存在顺序关系,每个样本和它之前的样本存在关联。比如说,在文本中,一个词和它前面的词是有关联的;在气象数据中,一天的气温和前几天的气温是有关联的。

例如本帖要使用RNN生成古诗,你给它输入一堆古诗词,它会学着生成和前面相关联的字词。如果你给它输入一堆姓名,它会学着生成姓名;给它输入一堆古典乐/歌词,它会学着生成古典乐/歌词,甚至可以给它输入源代码。

关于RNN:

  • TensorFlow练习3: RNN, Recurrent Neural Networks

  • http://karpathy.github.io/2015/05/21/rnn-effectiveness/

本帖代码移植自char-rnn,https://github.com/karpathy/char-rnn

它是基于Torch的洋文模型,稍加修改即可应用于中文。char-rnn使用文本文件做为输入、训练RNN模型,然后使用它生成和训练数据类似的文本。

使用的数据集:全唐诗(43030首):

本文代码在公众号 datadw 里 回复 古诗  即可获取。



模型生成

首先我们要训练好模型。这里采用的是2层的LSTM框架,每层有128个隐藏层节点,batch_size设为64。训练数据来源于全唐诗(可在上面百度云资源分享当中找到)。特别注意到的一点是这里每训练完一次就对训练数据做shuffle。 
源代码如下:


0?wx_fmt=png


使用该代码会将训练好的模型参数保存在 “model” 文件夹下。经过100个epoch之后,平均loss会降到2.6左右。训练好的模型在公众号 datadw 里 回复 古诗  即可获取。

生成古诗

使用训练好的模型可以轻松生成各种古诗。 
下面就是几个例子:

0?wx_fmt=png

0?wx_fmt=png

生成藏头诗

上代码:

0?wx_fmt=png


最后从函数接口可以看到,除了可以自己定义诗的头外,还可以定义是五言绝句还是七言绝句。 
来看几个五言绝句的例子:

0?wx_fmt=png

0?wx_fmt=png

再来看几个七言绝句的例子:

0?wx_fmt=png

0?wx_fmt=png

那么是不是可以用它来写情诗呢? 
当然可以啦!

0?wx_fmt=png

via http://blog.csdn.net/u014232627/article/details/71189078


人工智能大数据与深度学习

搜索添加微信公众号:weic2c

640?wx_fmt=png

长按图片,识别二维码,点关注



大数据挖掘DT数据分析

搜索添加微信公众号:datadw


教你机器学习,教你数据挖掘

640?wx_fmt=jpeg

长按图片,识别二维码,点关注





Tensorflow:基于LSTM生成藏头诗

使用TensorFlow,基于LSTM实现了自动生成藏头诗,古诗词。
  • u014232627
  • u014232627
  • 2017-05-04 21:27:48
  • 5122

用LSTM自动生成古诗

这几天自学深度学习算法,写了个自动写诗的循环神经网络(RNN)程序。通过35000首古诗,让计算机学习古诗文的结构,然后按照学习到的语言模型自动生成古诗。 训练的次数不多,总共5轮遍历古诗集,...
  • lgz233
  • lgz233
  • 2017-08-27 23:48:06
  • 1892

干货 | 简简单单,用 LSTM 创造一个写诗机器人

作者 | Carly Stambaugh来源 | AI 科技评论人们已经给神经网络找到了越来越多的事情做,比如画画和写诗,微软的小冰都已经出版了一本诗集了。而其实训练一个能写诗的神经网络并不难,Aut...
  • iFlyAI
  • iFlyAI
  • 2018-02-28 10:43:03
  • 100

知乎--LSTM(挺全的)

首页发现话题 登录 加入知乎 有哪些LSTM(Long Short Term Memory)和RNN(Recu...
  • vbskj
  • vbskj
  • 2017-05-12 11:16:47
  • 7085

tf7: RNN—古诗词

原文链接: http://blog.topspeedsnail.com/archives/tag/tensorflow RNN不像传统的神经网络-它们的输出输出是固定的,而RNN允许我们输入输出向量...
  • u014365862
  • u014365862
  • 2016-12-25 10:30:58
  • 9736

基于Char-RNN Language Model进行文本生成(Tensorflow生成唐诗)

上一篇文章利用CharRNN进行语言模型的训练,语言模型的本意就是为了判断一个句子的概率。在文本生成领域就可以根据当前词预测下一个词,因此大有用途。比如在各种科技网站上随处可见的生成唐诗,歌词,小说,...
  • Irving_zhang
  • Irving_zhang
  • 2017-08-04 11:48:36
  • 3674

TensorFlow练习7: 基于RNN生成古诗词

RNN不像传统的神经网络-它们的输出输出是固定的,而RNN允许我们输入输出向量序列。RNN是为了对序列数据进行建模而产生的。 样本序列性:样本间存在顺序关系,每个样本和它之前的样本存在关联。...
  • c2a2o2
  • c2a2o2
  • 2017-04-02 18:51:02
  • 1236

tensorflow73 使用RNN生成古诗和藏头诗

01 环境https://github.com/5455945/tensorflow_demo.git# 源码地址:https://github.com/5455945/tensorflow_demo...
  • longji
  • longji
  • 2017-07-16 00:02:00
  • 2831

基于RNN生成古诗词

1、generate_poetry.py古诗清洗、过滤较长或较短古诗、过滤即非五言也非七言的古诗。为每个字生成唯一的数字ID、每首古诗用数字ID表示。#-*- coding:utf-8 -*- imp...
  • hy13684802853
  • hy13684802853
  • 2018-04-10 11:16:31
  • 23

tensorflow笔记:多层LSTM代码分析

tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析之前讲过了tensorflow中CNN的示例代码,...
  • u014595019
  • u014595019
  • 2016-10-08 17:33:34
  • 86188
收藏助手
不良信息举报
您举报文章:Tensorflow:基于LSTM轻松生成各种古诗
举报原因:
原因补充:

(最多只允许输入30个字)