python实现过滤文件中不需要的数据

import re

#打开文档
file_open = open(r"d:\测试文件\对比文件1.txt","r",encoding='utf-8')
file_open2 = open(r"d:\测试文件\被过滤数据的文件.txt","r",encoding='utf-8')

s = file_open.read().splitlines()
ss = file_open2.read()
ss_list = ss.splitlines()
print(ss_list)
result = []
for i in s:
#用正则表达式去匹配
    regular = "([0-9A-Za-z,]*{0}[0-9A-Za-z,]*)".format(i)
    result1 = re.findall(regular,ss)
    result = result + result1
#方法1:用需过滤的文件数据list减去过滤数据的list
# result_2 = list(set(ss_list) - set(result))
#测试结果写入文件中
file = open(r"d:\测试文件\结果.txt",'w')
# for j in result_2:
#     file.write(j + '\n')
#方法2:if条件判断
for j in ss_list:
    if j not in result:
        file.write(j+'\n')


file_open.close()
file_open2.close()
file.close()



应用场景:
比如测试过程中需要过滤文件中对应某表的数据,将表中的字段数据提取出来放入文件中,再执行脚本,可直接过滤掉数据,只需修改正则表达式可过滤对应不同的数据

比如:
对比文件1中的一行数据是A,而被过滤数据的文件中的一行数据是包含A的数据。目的是过滤掉文件中包含A的数据。

Python文本处理是指使用Python编程语言对文本数据进行处理和分析的过程。Python提供了丰富的库和工具,使得文本处理变得简单和高效。 在Python,可以使用以下库来进行文本处理: 1. re:用于正则表达式匹配和替换,可以用于文本的模式匹配和提取。 2. nltk:自然语言处理工具包,提供了各种文本处理和分析的功能,如分词、词性标注、命名实体识别等。 3. spaCy:另一个强大的自然语言处理库,提供了更快速和高效的文本处理功能。 4. pandas:用于数据分析和处理的库,可以方便地读取、处理和分析文本数据。 5. gensim:用于主题建模和文本相似度计算的库,可以进行文本的主题分析和相似度计算。 6. scikit-learn:机器学习库,提供了各种文本分类、聚类和特征提取的算法。 在进行Python文本处理时,可以使用以下步骤: 1. 读取文本数据:使用Python文件操作或第三方库(如pandas)读取文本文件或从其他数据源获取文本数据。 2. 文本清洗:去除文本的噪声和无用信息,如HTML标签、特殊字符、停用词等。 3. 分词:将文本切分成单词或词语的序列,可以使用nltk或spaCy等库进行分词。 4. 词性标注:为每个词语标注其词性,可以使用nltk或spaCy等库进行词性标注。 5. 命名实体识别:识别文本的人名、地名、组织名等实体,可以使用nltk或spaCy等库进行命名实体识别。 6. 文本向量化:将文本转换为数值特征表示,可以使用词袋模型(Bag of Words)或词嵌入(Word Embedding)等方法。 7. 文本分类或聚类:根据文本的特征进行分类或聚类分析,可以机器学习算法或深度学习模型进行分类或聚类。 8. 文本生成或摘要:根据已有的文本生成新的文本或提取文本的摘要,可以使用生成模型或摘要算法。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值