模型输入数据处理（处理为txt文件 ）

下面就人民预料的数据集，讲一下数据集如何进行分割和预处理，对于儿童文学数据集也是同样的方法。

（1）源数据格式：

（2）处理过程

• 打开文件
  打开文件”2014_corpus.txt“，设定为只读模式，编码为utf-8，读取每一行。

with open(file,'r',encoding='utf-8') as fp:
     lines = fp.readlines()
     processed_lines = []

• 处理标点
  目前模型先尝试预测几种标点符号，包括：COMMA（逗号）、PERIOD（句号）、QUESTIONMARK（问号）。将这三种符号出现的地方都替换为符号+英文名大写的形式，规则如下：
  、 -> ,COMMA
  ！ -> .PERIOD
  ； -> ,COMMA
  ， -> ,COMMA
  。 -> .PERIOD
  ？ -> ?QUESTIONMARK
  除此之外的其他符号都去除，其中顿号替换为逗号，分号替换为逗号，感叹号替换为句号，保证句子训练过程中的断句和语义不出现错误理解。最后把换行符替换为空格，处理后的line添加到列表中。其中用到的替换函数方法是正则表达式进行替换。

     for line in tqdm(lines):

         line = re.sub(r'《','',line)
         line = re.sub(r'》', '', line)
         line = re.sub(r'“', '', line)
         line = re.sub(r'”'