python正则表达式处理文本内容

import re


res = [
        re.compile(r'<[^>]+>',re.S),
        re.compile(r'\&[a-zA-Z]+;',re.S),
        re.compile(r'\n|\t',re.S),
        re.compile(r'\[|\]|\(|\)',re.S),
        # re.compile(r'[\.\!\/`_,$%^*(+\"\')]+|[+——()?“”!,;;<=>~~{|}。?、~@#¥……&*()]+|[/.,"=:_-\{\}-、,-、;\\[];\-():。《》〉]+',re.S),
        re.compile(r'【.*】',re.S),    #去除括号和括号内的文字
        re.compile(
        r'^(?:http|ftp)s?://' # http:// or https://
        r'(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[A-Z]{2,6}\.?|[A-Z0-9-]{2,}\.?)|' #domain...
        r'localhost|' #localhost...
        r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' # ...or ip
        r'(?::\d+)?' # optional port
        r'(?:/?|[/?]\S+)$', re.IGNORECASE)
        # re.compile(r'[0-9A-Za-z]+', re.S)   #去除数字和英文
        # re.compile(r'[0-9]+', re.S)   # 仅去除数字
        ]
with open('cnews.test.txt','r+',encoding='utf-8') as f_raw:
    with open('cnews.test1.txt','a+',encoding='utf-8') as f_aim:
        for line in f_raw:
            label=line.split('\t')[0]
            sent=line.split('\t')[1]
            f_aim.write(label)
            f_aim.write('\t')
            for r in res:
                sent = r.sub('', sent)
            sent = re.sub(r"[^\u4e00-\u9fa5]", ",", sent)
            sent = re.sub('!{2,}', '!', sent)
            sent = re.sub('! {2,}', '!', sent)
            sent = re.sub('?{2,}', '!', sent)
            sent = re.sub('。{2,}', '。', sent)
            sent = re.sub(',{2,}', ',', sent)
            sent = re.sub('\s{2,}', '', sent)
            f_aim.write(sent)
            f_aim.write('\n')

 

  • 0
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值