模型输入数据处理(处理为txt文件 )

下面就人民预料的数据集,讲一下数据集如何进行分割和预处理,对于儿童文学数据集也是同样的方法。

(1)源数据格式:
在这里插入图片描述
(2)处理过程

  • 打开文件
    打开文件”2014_corpus.txt“,设定为只读模式,编码为utf-8,读取每一行。
with open(file,'r',encoding='utf-8') as fp:
     lines = fp.readlines()
     processed_lines = []
  • 处理标点
    目前模型先尝试预测几种标点符号,包括:COMMA(逗号)、PERIOD(句号)、QUESTIONMARK(问号)。将这三种符号出现的地方都替换为符号+英文名大写的形式,规则如下:
    、 -> ,COMMA
    ! -> .PERIOD
    ; -> ,COMMA
    , -> ,COMMA
    。 -> .PERIOD
    ? -> ?QUESTIONMARK
    除此之外的其他符号都去除,其中顿号替换为逗号,分号替换为逗号,感叹号替换为句号,保证句子训练过程中的断句和语义不出现错误理解。最后把换行符替换为空格,处理后的line添加到列表中。其中用到的替换函数方法是正则表达式进行替换。
     for line in tqdm(lines):

         line = re.sub(r'《','',line)
         line = re.sub(r'》', '', line)
         line = re.sub(r'“', '', line)
         line = re.sub(r'”', 
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值