python怎么修改txt中的单词_从txt文件中读取单词 – Python

本文档介绍了一个Python程序,用于读取txt文件中的单词并计数。程序可以过滤掉指定次数以下的单词,以及从另一文本文件中指定的禁用词。然而,当处理大文件如'elquijote.txt'时,性能成为一个问题。作者正在寻找优化方案,以避免使用辅助列表来提高处理速度。
摘要由CSDN通过智能技术生成

我开发了一个代码,负责读取txt文件的单词,在我的案例中为“elquijote.txt”,然后使用字典{key:value}来显示出现的单词及其出现次数.

例如,对于带有以下单词的文件“test1.txt”:

hello hello hello good bye bye

我的程序输出是:

hello 3

good 1

bye 2

该程序的另一个选项是,它显示的那些单词看起来比我们通过参数引入的数字的次数更多.

如果在shell中,我们将以下命令“python readingwords.py text.txt 2”,

将显示文件“test1.txt”中包含的单词,其出现次数超过我们输入的数字,在本例中为2

输出:

hello 3

现在我们可以引入常见词的第三个参数,例如确定连词,它们如此通用,我们不希望在字典中显示或引入.

我的代码工作正常,问题是使用大文件,如“elquijote.txt”需要很长时间才能完成整个过程.

我一直在想,这是因为我使用我的辅助列表来消除单词.

我认为作为一种解决方案,不要在我的列表中引入由参数输入的txt文件中出现的单词,其中包含要丢弃的单词.

这是我的代码:

def contar(aux):

counts = {}

for palabra in aux:

palabra = palabra.lower()

if palabra not in counts:

counts[palabra] = 0

counts[palabra] += 1

return counts

def main():

characters = '!?¿-.:;-,><=*»¡'

aux = []

counts = {}

with open(sys.argv[1],'r') as f:

aux = ''.join(c for c in f.read() if c not in characters)

aux = aux.split()

if (len(sys.argv)>3):

with open(sys.argv[3], 'r') as f:

remove = "".join(c for c in f.read())

remove = remove.split()

#Borrar del archivo

for word in aux:

if word in remove:

aux.remove(word)

counts = contar(aux)

for word, count in counts.items():

if count > int(sys.argv[2]):

print word, count

if __name__ == '__main__':

main()

Contar函数引入了字典中的单词.

主函数在“aux”列表中引入那些不包含符号字符的单词,然后从同一列表中删除从另一个.txt文件加载的“禁止”单词.

我认为正确的解决方案是丢弃禁止的词语,我丢弃不被接受的符号,但在尝试了几种方法之后,我还没有成功地做到这一点.

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值