小学生作文数据集处理（处理为无标点文本）

前提

经过昨天的数据清洗，得到了标点正确，每一行表示一段的小学生作文数据集。

原因

我们在模型评估和测试中，需要输入不带标点的作文，然后输出模型预测标点后的作文。因此接下来需要对小学生作文数据集进行去标点操作。

注

需要注意，这里不能直接去除所有非中文字符的标点（踩过坑），这样会连同数字等等的标点都去除。

---

去除中文标点的方法

下面以去除高年级作文的标点为例

准备：
安装python模板：zhon
命令：pip install zhon -i https://pypi.tuna.tsinghua.edu.cn/simple

导入中文标点库
punctuation是一个中文标点包，实际上就是一个中文标点的列表，里面包含了中文常见的标点。
如下：
＂＃＄％＆＇（）＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､　、〃〈〉《》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘’‛“”„‟…‧﹏﹑﹔·！？｡。