集体智慧总结和使用范围归纳

最近把集体智慧编程看完了，这里做一些总结：

朴素贝叶斯分类器：

简而言之，属于监督学习

训练

input(郑州城管写“奇诗” 刷爆朋友圈)  is (表扬城管)

input( 4大 城管 举措管出“巴适”成都 ) is （表扬城管）

input（ 街头砍死 城管 杀人疑犯落网 ）is （中性）

input（ 城管 拆小区违建未提前告知被判违法 也算 强拆 ）is （批评城管）

input（ 贵阳 城管 被曝围殴摊贩 砸烂两箱水果 ） is（批评城管）

经过训练后，我们通过统计某个词出现在某种态度中的概率（比如“举措”在表扬态度的文章中出现过6次，批评中1次，其他3次，那么他的概率分布式0.6，0.1，0.3） 会得到一组概率：

特征	表扬城管	批评城管
举措	0.6	0.1
强拆	0.1	0.8
砸烂	0.1	0.7
朋友圈	0.5	0.61

可以看到出现“举措”的文章表扬城管的几率会大一些，而出现“打砸”、“强拆”等次批评城管的几率会大一些。而“朋友圈”这个词可能会出现在任何一种态度的文章中。

分类

首先，贝叶斯的基本形式是：

P(态度 | 特征) = P(特征 | 态度) * P(态度) / P(特征)

而P(特征 | 态度)已经在上表中得到了，P(态度)取决于用户的样本（本例中是0.25），P(特征)是这个词在所有词中所占的比例。

那么P(态度 | 特征) 自然就可以得到了。

通俗来讲，如果我有一篇文章，里面包含了“砸烂”、“强拆”等词，那么P(表扬城管 | 砸烂、强拆)的概率估计不会太高吧。。。

优缺点：

优点：

训练和查询速度快；

对于增量式数据的应用场景较为适合，比如随时加入训练文章的样本；

便于理解和使用；

缺点：

最大缺点：这里假设每个特征都是相互独立的，但是如果遇到有联系的特征，贝叶斯会非常的不准确。比如：“河北“、”小贩”这两个词多次出现在了“批评城管”的文章中，因此占比重非常重，然而“河北”、“城管”确是全国典范，出现在“表扬城管”的文章中，但次数不多，那么按照贝叶斯的算法，只要出现和河北的文章基本上都是“批评城管”的。。。

简而言之，贝叶斯没有办法（或很麻烦）将特征之间的联系加入到计算中。

决策树分类器

简单来说，就是一个二叉树，每个分支都是由一个条件来判断，如果yes走分支1，no走分支2。然后分支1和分支2又会分别衍生出两个分支，这个过程直到确定出某个确定的结论。

训练

比如下面一组数据：

 

声音传感器	门口的压力传感器	行为
钥匙声	55-58kg	女主人回来了
钥匙声	77-80kg	男主人回来了
熟悉的敲门声	55kg-58kg	女主人没带钥匙
熟悉的敲门声	77-80kg	男主人没带钥匙
不熟悉的敲门声	其他	陌生人

有两个变量，分别是声音传感器和压力传感器，我们可以先对声音进行划分：

钥匙	敲门
女主人	女主人
男主人	男主人
	陌生人

可以看到基本上无法将类型清楚的分开，我们再以体重为特征区分：

55-58 or 77-80kg	其他
女主	陌生人
男主
女主
男主

这显然是一个更好的区分（里面显然有个漏洞，后面会讲到带概率的决策树）。然而，对于大量的数据来言，区分是否清楚就没有这么明显了，所以，我们引入了熵的概念：

单个频率 = 单个结果 / 总的结果

熵 = ∑（单个频率 * log（单个频率））

求和是对所有的结果而言的。熵反映的是一个数据的纯度，如上表中“其他”的熵就是0（1*log(1)）。

而判断使用哪个特征区分更加合适需要使用信息增益，熵也是为计算她服务的。

权重1 = 子集1大小 / 全集大小

权重2 = 子集2大小 / 全集大小

信息增益 = 总集的熵 - 权重1 * 子集1的熵 - 权重2 * 子集2的熵

信息增益越大说明特征越好，划分到最后也是判断不再产生信息增益为止。

优缺点：

最明显的优点就是：对数据的解释过程非常清晰，适合阅读，如果对数据分析的过程感兴趣，可以使用这种方法。

优点2：对于特征相互关系的分析非常准确，比如“钥匙声”和“55-58kg”同时出现时，女主的可能性就非常大，而单独的钥匙声不确定任何事。

缺点也是非常明显的，首先她对数值型的特征支持非常不好，会导致计算量大并准确率下降。

再者，就是他对于增量式的训练支持很差，换句话就是，每次新的数据她都要加入并对整个数据集进行重新训练，这时非常不现实的。

to be continue...

个人觉得《集体智慧编程》是一个对集体学习的小白来说入门的好书，可能他的内容有些过时，而且有些算法已经改进了许多并被集成到了函数库中，但是，这并不影响我们借鉴他对问题处理的思想，以及如何从O开始解决问题的思路。