自然语言处理1---文本预处理（删除非文本，非数字字符）

最新推荐文章于 2024-07-19 06:44:11 发布

liying700

最新推荐文章于 2024-07-19 06:44:11 发布

阅读量2.1k

点赞数

分类专栏：自然语言处理文章标签：自然语言处理

本文链接：https://blog.csdn.net/liying700/article/details/78342916

版权

本文介绍了自然语言处理中的初步步骤——文本预处理，重点讲解如何去除文本中的非文本和非数字字符，以提高后续分析的准确性。通过对文本进行清洗，可以有效地减少噪声数据，为后续的NLP任务打下基础。

摘要由CSDN通过智能技术生成

# -*- encoding:utf-8 -*-
import re,HTMLParser
import sys
reload(sys)
import os
sys.setdefaultencoding('utf-8')#输出的内容（爬下来的）是utf-8的形式
def file_fill(file_dir):  # 得到文本.txt的路径
    for root, dirs, files in os.walk(file_dir):
        for f in files:
            tmp_dir = '.\Reduced_sport' + '\\' + f  #