python过滤重复单词_过滤重复的字词

很多时候，需要仅针对文件中存在的唯一单词分析文本。 因此，我们需要从文本中删除重复的单词 这是通过使用nltk中可用的单词标记化和集合功能来实现的。

不保留顺序

在下面的例子中，我们首先将句子标记为单词。 然后应用set()函数创建一个无序的唯一元素集合。结果一个不排序的唯一单词。

import nltk

word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour."

# First Word tokenization

nltk_tokens = nltk.word_tokenize(word_data)

# Applying Set

no_order = list(set(nltk_tokens))

print no_order

当执行上面代码，得到以下结果 -

['blue', 'Rainbow', 'is', 'Sky', 'colour', 'ocean', 'also', 'a', '.', 'The', 'has', 'the']

保留顺序

要在删除重复项之后获取单词但仍然保留句子中单词的顺序，我们将读取单词并通过附加单词将其添加到列表中。

import nltk

word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour."

# First Word tokenization

nltk_tokens = nltk.word_tokenize(word_data)

ordered_tokens = set()

result = []

for word in nltk_tokens:

if word not in ordered_tokens:

ordered_tokens.add(word)

result.append(word)

print result

当执行上面代码，得到以下结果 -

['The', 'Sky', 'is', 'blue', 'also', 'the', 'ocean', 'Rainbow', 'has', 'a', 'colour', '.']

¥ 我要打赏

纠错/补充

收藏

加QQ群啦，易百教程官方技术学习群

注意：建议每个人选自己的技术方向加群，同一个QQ最多限加 3 个群。