本文介绍了儿童文学数据集的清洗过程，包括去除源数据中的网页作者信息、章节名称和空格等干扰项，以提升标点符号训练的准确性。数据经过处理后，以纯文本形式整合为一个文件，并进行了停用词处理。下一步计划完成整个数据集的清洗，并对小学生作文数据集进行随机标点符号生成。
儿童读物的数据清洗
1.源数据集的介绍
测次的训练数据集采取儿童文学的数据
包含大量的设计童话、小故事、科普知识等的内容，年龄跨度大，可以适合低年级：1～3年级的基本写作和阅读范围，同时较为复杂的科学知识，丰富的故事等可以适合高年级：4～6年级的丰富写作水平也能符合。
数据集原始为一个故事为一个txt文档，存储在对应的文件夹下：
且每个txt文件中，包含一些网页作者等信息，章节名称、空格等，会影响标点符号训练的效果
需要去除这些干扰信息，帮助我们更加准确的训练。
2.数据的最终呈现形式
将所有的数据集仅保留文本内容，并合并为一个txt文件，方便后期的训练，同时删除不必要的空格、处理异常的符号等。
最低0.47元/天 解锁文章
165
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
