在自然语言处理(Natural Language Processing,简称NLP)中,统计词频是一项重要的任务。通过统计文本中不同词汇的出现频率,我们可以获取有关文本内容的有价值信息。在本文中,我将介绍如何使用Python进行词频统计,并提供相应的源代码。
首先,我们需要加载所需的Python库。在这个例子中,我们将使用NLTK(Natural Language Toolkit)库来处理文本数据。
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
接下来,我们需要加载要进行词频统计的文本数据。你可以选择从文件中读取文本,或者直接在代码中定义一个字符串。