mahout 使用grouplens数据集定制datamodel以及评估

本文介绍了如何使用Apache Mahout和grouplens的ml-10m数据集创建推荐系统。通过设置不同的相似度度量和邻居策略,如PearsonCorrelationSimilarity和ThresholdUserNeighborhood,对模型进行评估,最终得到的平均绝对差异评分显示了用户之间的相关性。还探讨了皮尔逊相关系数、斯皮尔曼相关系数以及缓存和计算效率的考虑。
摘要由CSDN通过智能技术生成

在grouplens官网上下载数据集ml-10m。有1000万条记录。

使用其中的rating.dat数据集,打开它可以看到它的分隔符是::

mahout无法直接处理,但是mahout下面有一个定制的groupLensDataModel,它扩展了FileDataModel以读取这个文件。

代码如下:

    public static void grouplensDataModel() throws IOException, TasteException
    {
        DataModel model = new GroupLensDataModel(new File("F:\\mahout\\grouplens\\ml-10m\\ml-10M100K\\ratings.dat"));
        UserSimilarity similarity = new PearsonCorrelationSimilarity(model);
        UserNeighborhood neighborhood = new NearestNUserNeighborhood(100, similarity, model);
        Recommender recommender = new GenericUserBasedRecommender(model, neighborhood, similarity);
//        LoadEvaluator.runLoad(recommender);
    }

报错,out of memory 

项目右击,run configuration-->arguments-->VM arguments

写上-Xmx512m,表示java虚拟机最大可用内存为512M。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值