python中字符编码使用_使用NLTK处理Python中的字符编码问题

我已经下载并清理了一组RSS提要，用NLTK作为测试分类的语料库。但当我运行频率分布时，许多最上面的结果似乎是特殊字符：

我尝试了问题here中的建议，然后初始化了语料库(指定编码)：my_corpus = CategorizedPlaintextCorpusReader('C:\\rss_feeds', r'.*/.*', cat_pattern=r'(.*)/.*',encoding='iso-8859-1')

print len(my_corpus.categories())

myfreq_dist = make_training_data(my_corpus)

但结果只改变为：

设置python代码文件编码：

# -*- coding: iso-8859-1 -*-

为了完整起见，我使用以下代码将语料库读取器操纵为训练数据：

^{pr2}$

当我在记事本++中打开这些文件时，它说它们是用ANSI编码的。在

理想情况下，我希望在生成频率分布之前从单词列表中删除特殊字符和标点符号。任何帮助都将不胜感激。在