下面就人民预料的数据集,讲一下数据集如何进行分割和预处理,对于儿童文学数据集也是同样的方法。
(1)源数据格式:
(2)处理过程
- 打开文件
打开文件”2014_corpus.txt“,设定为只读模式,编码为utf-8,读取每一行。
with open(file,'r',encoding='utf-8') as fp:
lines = fp.readlines()
processed_lines = []
- 处理标点
目前模型先尝试预测几种标点符号,包括:COMMA(逗号)、PERIOD(句号)、QUESTIONMARK(问号)。将这三种符号出现的地方都替换为符号+英文名大写的形式,规则如下:
、 -> ,COMMA
! -> .PERIOD
; -> ,COMMA
, -> ,COMMA
。 -> .PERIOD
? -> ?QUESTIONMARK
除此之外的其他符号都去除,其中顿号替换为逗号,分号替换为逗号,感叹号替换为句号,保证句子训练过程中的断句和语义不出现错误理解。最后把换行符替换为空格,处理后的line添加到列表中。其中用到的替换函数方法是正则表达式进行替换。
for line in tqdm(lines):
line = re.sub(r'《','',line)
line = re.sub(r'》', '', line)
line = re.sub(r'“', '', line)
line = re.sub(r'”',