机器学习实践 学习笔记4 naïve Bayes

朴素贝叶斯（naïve Bayes）

工作原理：

朴素贝叶斯之所谓为“朴素”，是因为整个形式化过程只做最原始，最简单的假设。朴素贝叶斯是贝叶斯决策伦的一部分，贝叶斯决策伦的核心思想是：

选择具有最高概率的决策。朴素贝叶斯有两个假设，一是特征之间是相互独立的，二是每个特征同等重要。这两个假设显然都是存在瑕疵的，然而实际效果却很好。

可以用

计算w情况下分类i的概率，当中w是向量，里面包含多个特征值。

优点：在数据较少的情况下仍然有效，可以处理多类别问题

缺点：对于输入数据的准备方式较为敏感

适用数据类型：标称型数据

使用朴素贝叶斯进行文档分类：

切割文本：

设有文本如下：

mySent='This book is the best book on Python or M.L. I have ever laid eyes upon.'

可以使用正则表达式来切割。

def textParse(bigString):
	import re
	listOfTokens = re.split(r'\W*', bigString)#切割单词，数字意外的任意字符串
	return [tok.lower() for tok in listOfTokens if len(tok) > 2]#转为小写，筛选掉小于2个字符的单词，这些单词可能由url切割而来

切割后：

['this', 'book', 'is', 'the', 'b