Mahout in Action 读书笔记chapter2 推荐系统

http://blog.csdn.net/feitongxunke​

1.推荐定义

• 基于用户（user-based）：要找到你可能喜欢的物品，你可以观察与你志趣相投的人喜欢什么。
• 基于物品（item-based）：通过观察其他人的明显偏好，你可以弄清楚哪些东西和你已然喜欢的物品相似。
• 基于内容（content-based）：立足于物品的属性来推荐，但是很难规整为一个框架。

Mahout对于基于内容的推荐较少。前两者是协同过滤的返利，也就是仅仅通过了解用户与物品之间的关系进行推荐。

2.运行第一个推荐引擎

2.1创建输入test.csv

这里的数据是以偏好值表达的，指的是用户对物品的喜好指数。

  
  
1,101,5
1,102,3
1,103,2.5
2,101,2
2,102,2.5
2,103,5
2,104,2
3,101,2.5
3,104,4
3,105,4.5
3,107,5
4,101,5
4,103,3
4,104,4.5
4,106,4
5,101,4
5,102,3
5,103,2
5,104,4
5,105,3.5
5,106,4

这个时候可以分析下，用户对物品的喜欢，这里举个例子：1，5用户喜好相同，都喜欢101，然后喜欢102，最后103。然后5用户对104，106的评价是4，那么推荐给1用户应该不错。下面就是我们第一个推荐程序。

2.2第一个推荐程序

直接放出代码：

   
   
import org.apache.mahout.cf.taste.impl.model.file.*; 
import org.apache.mahout.cf.taste.impl.neighborhood.*;
import org.apache.mahout.cf.taste.impl.recommender.*;
import org.apache.mahout.cf.taste.impl.similarity.*;
import org.apache.mahout.cf.taste.model.*;
import org.apache.mahout.cf.taste.neighborhood.*;
import org.apache.mahout.cf.taste.recommender.*;
import org.apache.mahout.cf.taste.similarity.*;
import java.io.*;
import java.util.*;
class RecommenderIntro {
    public static void main(String[] args) throws Exception {
        DataModel model = new FileDataModel(new File("/Users/ericxk/Downloads/test.csv")); 
        UserSimilarity similarity = new PearsonCorrelationSimilarity(model); 
        UserNeighborhood neighborhood =new NearestNUserNeighborhood(2, similarity, model);
        Recommender recommender = new GenericUserBasedRecommender( model, neighborhood, similarity); //生成推荐系统
        List<RecommendedItem> recommendations = recommender.recommend(1, 2); //为用户1推荐2个物品
        for (RecommendedItem recommendation : recommendations) { 
            System.out.println(recommendation);
        }
    }
}

3评估一个推荐程序

常见的方法是评估其估计的偏好值的质量，也就是评估所估计的偏好在多大程度上与实际的偏好相匹配。

3.1训练数据与评分

书中这里用的平均差和均方根来作为评价指标，下面的代码是用平均差。

3.2运行评估程序

代码如下：

   
   
import org.apache.mahout.cf.taste.common.TasteException;
import org.apache.mahout.cf.taste.eval.RecommenderBuilder;
import org.apache.mahout.cf.taste.eval.RecommenderEvaluator;
import org.apache.mahout.cf.taste.impl.eval.AverageAbsoluteDifferenceRecommenderEvaluator;
import org.apache.mahout.cf.taste.impl.model.file.*; 
import org.apache.mahout.cf.taste.impl.neighborhood.*;
import org.apache.mahout.cf.taste.impl.recommender.*;
import org.apache.mahout.cf.taste.impl.similarity.*;
import org.apache.mahout.cf.taste.model.*;
import org.apache.mahout.cf.taste.neighborhood.*;
import org.apache.mahout.cf.taste.recommender.*;
import org.apache.mahout.cf.taste.similarity.*;
import org.apache.mahout.common.RandomUtils;
import java.io.*;
class RecommenderIntro {
    public static void main(String[] args) throws Exception {
        RandomUtils.useTestSeed(); 
        DataModel model = new FileDataModel(new File("/Users/ericxk/Downloads/test.csv"));
        RecommenderEvaluator evaluator = new AverageAbsoluteDifferenceRecommenderEvaluator();
        RecommenderBuilder builder = new RecommenderBuilder() {  //构建推荐程序
        public Recommender buildRecommender(DataModel model)throws TasteException {
            UserSimilarity similarity = new PearsonCorrelationSimilarity(model);
            UserNeighborhood neighborhood = new NearestNUserNeighborhood(2, similarity, model); 
            return new GenericUserBasedRecommender(model, neighborhood, similarity); 
            }
        };
        double score = evaluator.evaluate(builder, null, model, 0.7, 1.0); //训练70% 测试30%
        System.out.println(score);
    }
}

3.3评估结果

如果要使用均方根，可以用RMSRecommenderEvaluator代替AverageAbsoluteDifferenceRecommenderEvaluator。这里吐槽下，这些函数名字都好长。不过长的好处就是一看函数名就知道是干什么用的。

4.评估查准率与查全率

查准率(precision)查全率(recall)，这两个很好理解，不懂可以百度下。在放出precision和recall之前要说问题。##就是我们推荐系统是
推荐用户没有交互过##，但是最好的推荐结果不一定都在那些用户已知的物品中，测试框架这里只会从用户已有的偏好集合中选择好的推荐。这里可以打个比喻就是，一道题有很多种解法，结果你做的解法都不在正确解法里面，但是也有可能是对的。话题转过来，对于推荐系统，如果偏好是布尔型即是01，那么这个问题就很麻烦，因为没有相对偏好的概念可用于选出包含好物品的数据子集。但是这个precision和recall还是有一定用处的，不能说是很完美的选择。下面放出代码：

   
   
import org.apache.mahout.cf.taste.common.TasteException;
import org.apache.mahout.cf.taste.eval.IRStatistics;
import org.apache.mahout.cf.taste.eval.RecommenderBuilder;
import org.apache.mahout.cf.taste.eval.RecommenderIRStatsEvaluator;
import org.apache.mahout.cf.taste.impl.eval.GenericRecommenderIRStatsEvaluator;
import org.apache.mahout.cf.taste.impl.model.file.*; 
import org.apache.mahout.cf.taste.impl.neighborhood.*;
import org.apache.mahout.cf.taste.impl.recommender.*;
import org.apache.mahout.cf.taste.impl.similarity.*;
import org.apache.mahout.cf.taste.model.*;
import org.apache.mahout.cf.taste.neighborhood.*;
import org.apache.mahout.cf.taste.recommender.*;
import org.apache.mahout.cf.taste.similarity.*;
import org.apache.mahout.common.RandomUtils;
import java.io.*;
class RecommenderIntro {
    public static void main(String[] args) throws Exception {
        RandomUtils.useTestSeed();
        DataModel model = new FileDataModel(new File("/Users/ericxk/Downloads/test.csv"));
        RecommenderIRStatsEvaluator evaluator = new GenericRecommenderIRStatsEvaluator();
        RecommenderBuilder recommenderBuilder = new RecommenderBuilder() {
            public Recommender buildRecommender(DataModel model)throws TasteException {
                UserSimilarity similarity = new PearsonCorrelationSimilarity(model);
                UserNeighborhood neighborhood =new NearestNUserNeighborhood(2, similarity, model);
                return new GenericUserBasedRecommender(model, neighborhood, similarity);
            }
        };
        IRStatistics stats = evaluator.evaluate(recommenderBuilder, null, model, null, 2, GenericRecommenderIRStatsEvaluator.CHOOSE_THRESHOLD, 1.0);
        System.out.println(stats.getPrecision());
        System.out.println(stats.getRecall());
    }
}

5.评估GroupLens数据集

书中介绍了这个网站https://www.grouplens.org/， 具体给的数据集链接给错了，应该是这个https://www.grouplens.org/datasets/movielens/ ，下载了个几M的数据集，跑了下，偏差是
0.926020408163265，这个结果并不理想。

书中这里介绍了其他的推荐程序，org.apache.mahout.cf.taste.impl.recommender.slopeone.SlopeOneRecommeder 不过很遗憾我用的mahout0.9并没有在impl.recommender中找到slopeone。