项目简介:本项目可以通过分析所给的图片,提取其中的关键意向标签,并由关键词生成意境相关的五言绝句。
背景:通过阅读文献,我们了解到图片多分类、以及基于attention的Seq2Seq古诗生成模型已经较为成熟。我们很自然的想到是否可以把二者结合起来,使用分类后的图片标签作为生成古诗的关键词,那么基于图片生成古诗也就相应的实现。
模型和方法:1.图像识别
使用cifar-100数据集进行模型训练,数据集地址:
http://www.cs.toronto.edu/~kriz/cifar.html?usg=alkjrhjqbhw2llxlo8emqns-tbk0at96jq
图片识别的具体模型采用的是基于CIFAR-100的vgg16架构的Keras模型
共训练250个epoch,在测试集中各个小类的最高正确率在70%左右,但是由于很多小类在古诗意向上没有太大的差别,而大类的正确率有80%多,所以在最后的古诗意向把握上依旧可以取得较好的效果。
模型和方法:2.古诗生成
来源:https://github.com/chinese-poetry/chinese-poetry数据格式为json,为了简化模型,我们挑选其中唐诗与宋诗的一万五千首五言绝句,并且进行了预处理。
预处理:
在处理古诗句数据时,建立一个数据类,里面包含字表(删除了一些生僻字)、字与ID的对应字典。在生成训练集每一个batch的target数据时,仅需把输入的诗句文本向后移一位即可&#