programming collective intelligence读书笔记一

amazon计算机新书销量第一位: programming collective intelligence
这是一本讲基于机器学习算法的群体智慧...用python做示范代码
第一章说machine learning是一种很有前途的技术,能够用于:
生命科学
金融欺诈判断
机器视觉识别
生产消费市场判断
供应链优化
股票市场
国家安全等...

第二章讲的是如何做社区网站的推荐功能
user-based algorithm就是先找出和你口味差不多的人
然后推荐和你口味相同没看过的电影/书给你
对于任意两个人,每个人是一个维度,他们共同看过的书构成一个二维点阵,然后算相似度
可以用好几种办法,我觉得算两条直线的斜率差不错...张角越大说明口味越不匹配
这个算法精度高,最大缺点是计算复杂度大
要两两比对,如果人数是N,共同看过的书最多是k本,复杂度大概是(N*N*k*k)...
很难忍受...这套算法要大规模并行计算...计算成本高了,现在的社交网不太容易推出这种服务...
改进的算法是计算以电影为中心的相关性,对于任意两个电影计算相关性
这样能找出大众口味下相似度差不多的电影集合...
因为电影数目有限...这个算法复杂度不高,豆瓣应该就是这种item-based的推荐...
不过我感觉效果不太好,精度不够,书太流行了...没法推荐更多的比较罕见的符合口味的书


--------------
chenjinlai
2008-05-05