python替换UTF-8编码文本中任意特殊字符,包括中文符号

本文介绍如何在大量UTF-8编码的文本中,使用Python将特殊字符(如:◆★,日期[1990-11-23]等)替换为空格。内容涉及Python正则表达式处理中文字符的方法,文件编码的理解,以及在处理大文件时的优化技巧,如使用文件迭代器提高效率。
摘要由CSDN通过智能技术生成

问题:

大量文本,将其中的特殊字符用空格替换,特殊字符如:◆★,日期[1990-11-23]等。

这些文本有如下特点:

1.文件名以中文命名

2.经测试,文件编码为UTF-8

先看程序:

# -*- coding: utf-8 -*-
import re
import chardet
import os

def dowork(dirname):
    txt_filenames = os.listdir(dirname)
    #需要替换的字符正则表达式:◆★[1990-2-30],这是核心
    pat = r"(\xe2\x98\x85|\xe2\x97\x86)|(\[\d+-\d+-\d+\])"
    repat = re.compile(pat)
    
    i = 0
    for filename in txt_filenames:
        #选出正确的文件类型
        if filename.find('.txt') == -1:
            continue
        #判断文件本身的类型是不是UTF-8
        f = open(filename, 'r')
        print 'open ' + filename
        line = f.readline()
        enc = chardet.detect(line)
        #保存文件类型
        fileencode = enc['encoding']
        print enc
        f.close()

        #wname是新文件的名称
        wname
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值