唐诗生成器

原创 2017年05月12日 17:11:25

使用唐诗语料库,经过去噪预处理、分词、生成搭配、生成主题等过程,生成唐诗。

csdn下载地址:http://download.csdn.net/detail/lijiancheng0614/9840952
github上repository地址:https://github.com/lijiancheng0614/poem_generator

环境

  • Python 2.7

  • Flask

  • jieba

运行方法

如果是第一次运行,则需要安装相关的库及生成初始数据:

pip install flask
pip install jieba
python preprocess.py
python get_collocations.py
python get_topic.py
python get_start_words.py

以后只需要输入以下代码即可运行网站:

python index.py

实现

预处理

观察到给定的唐诗语料库存在以下噪声:

  • 诗句中出现类似<img height=32 width=32 border=0 src=/bzk/QLXQ.bmp >的HTML标签。

  • 出现空格、“.”等字符。

  • 诗句中出现注释,用“(”、“)”标出来。

  • 诗句不完整,出现方框字符。

对于前三种情况的噪声,直接去掉即可。对于最后一种噪声,直接把这行诗句忽略考虑。(此外,对于第三种噪声,“(”、“)”不在同一行时未处理。)

由于暂时只需要用到唐诗标题和诗句,故只提取这两部分内容。

相关代码实现在preprocess.py

输入:

  • .\data\唐诗语料库.txt

输出:

  • .\data\poem.txt

分词

对于中文分词,这里采用在工业界上较广泛应用的“结巴”中文分词组件1。该分词组件主要采用以下算法:基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG);采用动态规划查找最大概率路径,找出基于词频的最大切分组合;对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法。

由于唐诗中的每一个字基本都是有用的,故停用词(Stop Words)主要为标点符号,这里直接使用默认的停用词。

生成搭配

搭配包括横向搭配和纵向搭配。横向搭配指每句诗中每个词与下一个词的搭配关系,纵向搭配指每两句诗中,第一句诗中的词与下一句诗中对应相等长度的词的搭配关系。

分词之后把唐诗(不含标题)按句子切割,对句子总数为偶数的唐诗,遍历每两句诗,第一句诗中的词与第二句诗中对应相等长度的词形成一个纵向搭配。对每一句诗,每两个词形成一个横向搭配。

易知,使用似然比、频率、t检验等搭配发现方法都能得到较好结果,这里为了方便,直接使用频率来发现搭配。

相关代码实现在get_collocations.py

输入:

  • .\data\poem.txt

输出:

  • 横向搭配.\data\collocations_h
  • 纵向搭配.\data\collocations_v

生成主题

对每首诗,提取TF-IDF2特征并构建矩阵3,然后使用非负矩阵分解(Non-negative matrix factorization, NMF)45提取唐诗主题类别。考虑到唐诗分类数量有限,这里只生成10个类,每个类用频率最高的20个词来表示。

相关代码实现在get_topic.py

输入:

  • .\data\poem.txt

输出:

  • 主题.\data\topics.txt
  • .\data\words
  • 每个主题-词对应的得分.\data\topic_words

生成起始词

对每首诗,分词后取第一句诗的第一个词作为起始词。统计所有起始词,并输出出现超过两次的词。

相关代码实现在get_start_words.py

输入:

  • .\data\poem.txt

输出:

  • 起始词.\data\start_words.txt

生成唐诗

由于前期并没有平仄处理,也没有对唐诗语料库作过多的要求,因此,生成的唐诗可能对仗不太工整。

输入的参数除了上述生成的部分文件(如搭配、主题等)外,还需要指定诗句数量、诗句长度、主题和起始词(若不指定则随机产生)。

对于给定诗句长度l, 起始词start_word和主题topic_id,设a[i]为第i个词的id,我们可以把产生第一句诗抽象成一个子问题:

maxs.t.i=2ncollocations_h_score[a[i1]][a[i]]+λi=1ntopic_word[topic_id][a[i]]i=1nlen(word[a[i]])=la[1]=start_word

其中collocations_h_score[a[i1]][a[i]]表示第i1个词与第i个词的横向搭配分数,λ为平衡参数。若以上问题的最优解为a[i],那么所生成的较为合理的第一句诗即word[1],word[2],,word[n]

显然,对于该问题,可以把目标函数中的乘积部分用log来使其变成求和。于是该问题可以用动态规划来求解:

f[i][j]表示长度为i,最后一个单词id为j的最大目标函数值,则

f[i][j]=max{f[ilen(word[j])][k]+log_collocations_h_score[k][j]}+λtopic_word[j]

其中(k,j)为一个横向搭配。

初始时f[len(start_word_id)][start_word_id]=λtopic_word[start_word_id]

最后最优值为f[l][j],j,路径可通过与ff同大小的矩阵prepre来记录前一个单词的id。

而产生下一句诗,则需要考虑纵向搭配。同理我们也可以把产生下一句诗抽象成一个子问题:

\begin{array}{cl} \max & \prod_{i = 2}^n collocations\_h\_score[a[i - 1]][a[i]] \\ & + \lambda_1 \prod_{i = 1}^n collocations\_v\_score[pre\_a[i]][a[i]] \\ & + \lambda_2 \sum_{i = 1}^n topic\_word[topic\_id][a[i]] \\ \text{s.t.} & len(word[a[i]]) = len(word[pre\_a[i]]), i = 1, \cdots, n \end{array}

maxs.t.i=2ncollocations_h_score[a[i1]][a[i]]+λ1i=1ncollocations_v_score[pre_a[i]][a[i]]+λ2i=1ntopic_word[topic_id][a[i]]len(word[a[i]])=len(word[pre_a[i]]),i=1,,n

其中pre_a[i]表示上一句诗的第i个词的id,collocations_v_score[pre_a[i]][a[i]]表示上一句诗第i个词与这一句诗第i个词的纵向搭配分数,λ1,λ2均为平衡参数。同理也用动态规划来求解:

f[i][j]表示第i个词,最后一个单词id为j的最大目标函数值,则

f[i][j]=max{f[i1][k]+log_collocations_h_score[k][j]+λ1log_collocations_v_score[pre_a[i]][j]}+λ2topic_word[j]

其中(k,j)为一个横向搭配,(pre_a[i],j)为一个纵向搭配。

初始时f[0][j]=max{λ1log_collocations_v_score[pre_a[i]][j]}+λ2topic_word[j]

求最优值与最优解方法同上。

相关代码实现在generate_poem.py

输入:

  • .\data\collocations_v
  • .\data\collocations_h
  • .\data\words.txt
  • .\data\topic_words
  • .\data\start_words.txt

输出:

  • 屏幕中输出随机生成的唐诗。

实现网站

为了更好的用户体验,可以把随机和成的唐诗写成一个网站“古诗生成器”。若是用户没有输入,则随机生成唐诗;若是用户输入第一句诗或更多句诗,则生成剩下的诗。

具体的实现使用Flask框架,由于只是demo,只使用了bootstrap作为样式,并未过多设计,具体效果如下图所示。

随机生成唐诗
给定第一句生成唐诗

总结与展望

总的来说,这个系统生成的唐诗还只是基本符合搭配和主题尽可能相关的要求,平仄、主旨等唐诗的属性还有待改进。今后可以考虑生成更精确、更有意义的唐诗,如文献6提供了一种解决方案。期待以后能做出更好的效果!

参考


  1. “结巴”中文分词. https://github.com/fxsjy/jieba
  2. TF-IDF. 维基百科. 最后修订于2015年9月27日. https://zh.wikipedia.org/wiki/TF-IDF
  3. sklearn.feature_extraction.text.TfidfTransformer. scikit-learn developers. http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfTransformer.html
  4. Non-negative matrix factorization. Wikipedia. 最后修订于2015年12月1日. https://en.wikipedia.org/wiki/Non-negative_matrix_factorization
  5. sklearn.decomposition.NMF. scikit-learn developers. http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.NMF.html
  6. He J, Zhou M, Jiang L. Generating chinese classical poems with statistical machine translation models[C]//Twenty-Sixth AAAI Conference on Artificial Intelligence. 2012.
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Android设计模式学习之观察者模式

观察者模式在实际项目中使用的也是非常频繁的,它最常用的地方是GUI系统、订阅——发布系统等。因为这个模式的一个重要作用就是解耦,使得它们之间的依赖性更小,甚至做到毫无依赖。以GUI系统来说,应用的UI...

关注CSDN程序人生公众号,轻松获得下载积分

关注公众号 在公众号里回复“”秘密“”两个字 返回 http://task.csdn.net/m/task/home?task_id=398 领取奖励 提示:根据公众号里的自动回复,完成...

属性动画----把图片渐渐变小不见(主函数MainActivity 页面)(XML布局)(本布局和渐变布局一样)

LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:app="http://schema...

JavaEE 6及以上版本的web.xml问题?

JavaEE 6及以上版本的web.xml问题?MyEclipse JavaEE 6版本开始web.xml突然消失不见?没这回事,只是不太必须而已,有需要的项目可以自行进行添加或在创建项目的时候点击n...

Android 图片毛玻璃的实现方法

注:本文的高斯模糊只能显示,如果想要保存模糊后的图片,请参考另一篇文章:http://blog.csdn.net/fan7983377/article/details/51568059 效果...

目标检测和跟踪小结

一、目标检测目标检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。1.静态背景 背景差分法 帧间差分法 光...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)