使用朴素贝叶斯进行垃圾邮件过滤的算法思想:
(1) 收集数据:提供文本文件。
(2) 准备数据:将文本文件解析成词条向量。
(3) 分析数据:检查词条确保解析的正确性。
(4) 训练算法:使用我们之前建立的trainNB0()函数。
(5) 测试算法:使用classifyNB(),并且构建一个新的测试函数来计算文档集的错误率。
(6) 使用算法:构建一个完整的程序对一组文档进行分类,将错分的文档输出到屏幕上。
准备数据:切分文本
从文本文档中构建自己的词列表。
(1)若使用split方法切割文本:
if __name__ == "__main__":
str = "Good morning, my friends!!!"
print(str.split()) # ['Good', 'morning,', 'my', 'friends!!!']
可以切分出所有词,但是标点符号也被当成词的一部分。
(2)使用正则表达式切分:
import re
'''
从字符串中提取出文本种的所有单词
输入参数:
str:要切分的文本
返回值:
文本中包含的词列表(全部转换为小写)
[tok for tok in words_of_str if len(tok) > 0]:返回长度大于0的字符串,可以去除只有空格的字符串
'''
def get_words(str):
words_of_str = re.split('\\W', str)
return [tok.lower() for tok in words_of_str if len(tok) > 0]
if __name__ == "__main__":
str = "Good morning, my friends!!!"
print(" ********** 使用split切分字符串: ********** ")
print(str.split()) # ['Good', 'morning,', 'my', 'friends!!!']
print(get_words(str)) # ['good', 'morning', 'my', 'friends']
则可以切分出每个单词(不包括标点和空串),同时都把词汇转成小写。