Python去除文本中所有中英文标点符号

Yore_999

已于 2022-06-13 17:32:47 修改

阅读量2.8k

点赞数 2

分类专栏：基础内容_语言学习文章标签： python

于 2022-06-13 14:14:46 首次发布

本文链接：https://blog.csdn.net/qq_35284646/article/details/125259022

版权

基础内容_语言学习专栏收录该内容

2 篇文章

订阅专栏

from tqdm import tqdm
import string
from zhon.hanzi import punctuation as pun

allPun = string.punctuation + pun

def delPunctuation(infile, outfile):
    nums_line = 77397242 # 文件行数
    with open(infile, 'r',encoding="utf-8") as readFile, open(outfile, 'w', encoding="utf-8") as writeFile:
        for idx, line in tqdm(enumerate(readFile), total=nums_line):
            out = ''.join([i for i in line if i not in allPun])
            writeFile.write(out)
     readFile.close()
     writeFile.close()

if __name__ == '__main__':
    delPunctuation("test.txt", "ans.txt")

string.punctuation 代表英文标点符号

zhon.hanzi 中的punctuation 代表中文标点符号

查找到文中的所有标点符号，将其删除并将处理后的文本写入到新的文件中。