儿童读物的数据清洗
1.源数据集的介绍
测次的训练数据集采取儿童文学的数据
包含大量的设计童话、小故事、科普知识等的内容,年龄跨度大,可以适合低年级:1~3年级的基本写作和阅读范围,同时较为复杂的科学知识,丰富的故事等可以适合高年级:4~6年级的丰富写作水平也能符合。
数据集原始为一个故事为一个txt文档,存储在对应的文件夹下:
且每个txt文件中,包含一些网页作者等信息,章节名称、空格等,会影响标点符号训练的效果
需要去除这些干扰信息,帮助我们更加准确的训练。
2.数据的最终呈现形式
将所有的数据集仅保留文本内容,并合并为一个txt文件,方便后期的训练,同时删除不必要的空格、处理异常的符号等。