nlp项目实践古诗创作tensorflow ---（1）数据集准备

最新推荐文章于 2024-10-14 17:08:25 发布

rory0114

最新推荐文章于 2024-10-14 17:08:25 发布

阅读量2.1k

点赞数 8

分类专栏：零基础学nlp 文章标签： tensorflow 实践

本文链接：https://blog.csdn.net/weixin_41303016/article/details/88696555

版权

本文介绍了一项使用TensorFlow进行古诗创作的项目，首先讲述了数据集的搜集，选择了特定的古诗词数据集；接着，讨论了预处理步骤，包括按诗词字数排序和拆分为上下句；然后，提到了使用MapReduce实现这一过程的代码实现；最后，作者计划采用已训练好的四库全书基字embedding以提升模型效果。

摘要由CSDN通过智能技术生成

之前一直在看前几天找到的seq2seq写对联的源码，发现它的源码好多都不是那么普遍通用的，学习他的或许不如自己写一个，所以模仿他的思路，我打算用古诗词的数据集，做一个可以自己创作古诗的模型。

数据搜集

使用了这个数据集。

预处理

由于在之前的论文中提到将长度大致一致的放在一起训练可以提高训练的效率，因此希望通过预处理将这些诗词按字数排序，每一行分为上下句。为了完成这个，结合之前一直在看mapreduce，索性就用mapreduce完成这个任务。

代码

mapper使用诗的长度作为key，两句诗连接作为value

    package gushi;
    
    import java.io.IOException;
    
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Mapper;
    
    public class gushimapper extends Mapper<LongWritable, Text, LongWritable, Text>{
   
    	Text val = new Text();
    	LongWritable k = new LongWritable();