mahout itemCF 简单使用

最新推荐文章于 2022-10-24 15:28:01 发布
最新推荐文章于 2022-10-24 15:28:01 发布
阅读量2.4k 收藏 3
点赞数
分类专栏： mahout 文章标签： itemcf mahout mahout itemcf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linlinv3/article/details/50132761
版权

一、itemCF 测试

mahout版本 0.10.0

mahout 提供了很多的算法，其中比较常用的算是itemCF了这里记录一下itemcf的使用方法

1、数据准备，这里是使用自己采集的一些行为数据 ，数据不多，但是可以测试出结果：

下面三列分别是 user_id , item_id , perfence   

把以下数据存放到hdfs上，我存放的路径是/mahout/itemcf/data1/itemdata.data

 
 
  1. 0162381440670851711,4,7.0
  2. 0162381440670851711,11,4.0
  3. 0162381440670851711,32,1.0
  4. 0162381440670851711,176,27.0
  5. 0162381440670851711,183,11.0
  6. 0162381440670851711,184,5.0
  7. 0162381440670851711,207,9.0
  8. 0162381440670851711,256,3.0
  9. 0162381440670851711,258,4.0
  10. 0162381440670851711,259,16.0
  11. 0162381440670851711,260,8.0
  12. 0162381440670851711,261,18.0
  13. 0162381440670851711,301,1.0
  14. 0162381440670851711,307,1.0
  15. 0162381440670851711,477,1.0
  16. 0162381440670851711,518,1.0
  17. 0162381440670851711,549,3.0
  18. 0162381440670851711,570,1.0
  19. 0162381440670851711,826,2.0
  20. 0357211441096952115,207,1.0
  21. 0617721441096186493,184,1.0
  22. 0617721441096186493,207,1.0
  23. 1205421441071459451,5,1.0
  24. 1214361441096861254,207,1.0
  25. 1401731441095483081,258,1.0
  26. 1401731441095483081,814,4.0
  27. 1401731441095483081,826,1.0
  28. 1917281441163686119,259,10.0
  29. 1917281441163686119,260,1.0
  30. 1917281441163686119,261,3.0
  31. 1966141441163860798,176,1.0
  32. 2294491441095342047,176,1.0
  33. 2441031440670827430,4,13.0
  34. 2441031440670827430,259,29.0
  35. 2441031440670827430,261,14.0
  36. 2441031440670827430,460,2.0
  37. 2441031440670827430,477,6.0
  38. 2441031440670827430,570,1.0
  39. 2441031440670827430,577,6.0
  40. 2441031440670827430,702,1.0
  41. 2441031440670827430,758,2.0
  42. 2441031440670827430,809,1.0
  43. 2475791441161318569,176,1.0
  44. 2987091441068878630,261,1.0
  45. 3114261440726814722,549,1.0
  46. 3445831441096810087,207,1.0
  47. 3846061441096937902,207,1.0
  48. 4266911441160164599,176,1.0
  49. 4698311441097046150,176,2.0
  50. 4698311441097046150,183,2.0
  51. 4698311441097046150,184,4.0
  52. 4698311441097046150,207,6.0
  53. 4946291441097563245,183,1.0
  54. 4956331440750398178,159,1.0
  55. 4956331440750398178,160,1.0
  56. 5307571441160362208,4,1.0
  57. 5307571441160362208,176,1.0
  58. 5719691441098504387,176,5.0
  59. 5719691441098504387,184,1.0
  60. 5719691441098504387,207,1.0
  61. 5813281441095425044,184,2.0
  62. 5813281441095425044,258,1.0
  63. 5894601441095265604,184,1.0
  64. 5981521441096106535,207,1.0
  65. 6292291441096870187,207,1.0
  66. 6533651441161410910,176,1.0
  67. 6810691441096902907,207,1.0
  68. 6836071440729632252,4,3.0
  69. 6836071440729632252,49,1.0
  70. 6836071440729632252,259,2.0
  71. 6836071440729632252,570,1.0
  72. 6836071440729632252,577,2.0
  73. 6964141441160527746,176,1.0
  74. 7495291441096796843,207,1.0
  75. 7616681441095305067,183,1.0
  76. 7616681441095305067,184,2.0
  77. 7616681441095305067,258,2.0
  78. 7616681441095305067,261,1.0
  79. 7732211441095211112,183,1.0
  80. 7732211441095211112,259,2.0
  81. 7732211441095211112,260,9.0
  82. 7732211441095211112,261,1.0
  83. 7732211441095211112,632,6.0
  84. 8211761441096060717,176,1.0
  85. 8211761441096060717,183,1.0
  86. 8305691441168039389,259,3.0
  87. 8305691441168039389,260,2.0
  88. 8305691441168039389,261,1.0
  89. 8375281440837772178,527,1.0
  90. 8432311440724457499,290,1.0
  91. 8641451441097297246,183,1.0
  92. 8641451441097297246,184,1.0
  93. 8641451441097297246,207,1.0
  94. 8641451441097297246,259,1.0
  95. 8641451441097297246,263,1.0
  96. 8641451441097297246,838,1.0
  97. 8641451441097297246,839,1.0
  98. 8641451441097297246,840,1.0
  99. 8651081441095283643,176,2.0
  100. 8651081441095283643,183,7.0
  101. 8753221441095342356,176,1.0

2、使用mahout自带的算法 实现协同过滤：

语句如下：

 
 
  1. bin/hadoop jar /home/lin/hadoop/mahout-distribution-0.10.0/mahout-examples-0.10.0-job.jar  org.apache.mahout.cf.taste.hadoop.item.RecommenderJob  -i /mahout/itemcf/data1   -o  /mahout/itemcf/result1 -s SIMILARITY_LOGLIKELIHOOD --tempDir /mahout/itemcf/temp1

其中 -i 后面是输入数据存放地址，也就是上面给的测试数据；

        -o 后面是结果输出地址，这个文件夹不用建立，mahout会自动建立，若是已经存在则会报错；

      --tempDir 是指临时存放的一些输出数据，mahout自己的一些输出 ，这个路径mahout自动创建，若是存在会报错；

        -s  是指定使用算法；可以根据自己的需要选择；

具体的help如下

  
  
  1. Job-Specific Options:                                                           
  2.   --input (-i) input                                      Path to job input     
  3.                                                           directory.            
  4.   --output (-o) output                                    The directory         
  5.                                                           pathname for output.  
  6.   --similarityClassname (-s) similarityClassname          Name of distributed   
  7.                                                           similarity measures   
  8.                                                           class to instantiate, 
  9.                                                           alternatively use one 
  10.                                                           of the predefined     
  11.                                                           similarities          
  12.                                                           ([SIMILARITY_COOCCURRE
  13.                                                           NCE,                  
  14.                                                           SIMILARITY_LOGLIKELIHO
  15.                                                           OD,                   
  16.                                                           SIMILARITY_TANIMOTO_CO
  17.                                                           EFFICIENT,            
  18.                                                           SIMILARITY_CITY_BLOCK,
  19.                                                           SIMILARITY_COSINE,    
  20.                                                           SIMILARITY_PEARSON_COR
  21.                                                           RELATION,             
  22.                                                           SIMILARITY_EUCLIDEAN_D
  23.                                                           ISTANCE])             
  24.   --maxSimilaritiesPerItem (-m) maxSimilaritiesPerItem    try to cap the number 
  25.                                                           of similar items per  
  26.                                                           item to this number   
  27.                                                           (default: 100)        
  28.   --maxPrefs (-mppu) maxPrefs                             max number of         
  29.                                                           preferences to        
  30.                                                           consider per user or  
  31.                                                           item, users or items  
  32.                                                           with more preferences 
  33.                                                           will be sampled down  
  34.                                                           (default: 500)        
  35.   --minPrefsPerUser (-mp) minPrefsPerUser                 ignore users with     
  36.                                                           less preferences than 
  37.                                                           this (default: 1)     
  38.   --booleanData (-b) booleanData                          Treat input as        
  39.                                                           without pref values   
  40.   --threshold (-tr) threshold                             discard item pairs    
  41.                                                           with a similarity     
  42.                                                           value below this      
  43.   --randomSeed randomSeed                                 use this seed for     
  44.                                                           sampling              
  45.   --help (-h)                                             Print out help        
  46.   --tempDir tempDir                                       Intermediate output   
  47.                                                           directory             
  48.   --startPhase startPhase                                 First phase to run    
  49.   --endPhase endPhase                                     Last phase to run

3、执行上述命令后，等待执行完毕，在目录 /mahout/itemcf/result1 可以看到如下数据：

  
  
  1. 162381440670851711	[809:13.535571,702:13.535571,460:13.535571,758:13.535571,632:13.182321,577:12.929438,49:11.368558,307:10.562227,32:10.562227,518:10.562227]
  2. 617721441096186493	[839:1.0,259:1.0,518:1.0,826:1.0,11:1.0,260:1.0,4:1.0,32:1.0,176:1.0,840:1.0]
  3. 1401731441095483081	[11:1.0,570:1.0,518:1.0,307:1.0,260:1.0,259:1.0,549:1.0,32:1.0,207:1.0,184:1.0]
  4. 1917281441163686119	[577:7.365086,702:6.5,809:6.5,758:6.5,460:6.5,184:5.9840446,176:5.981493,4:5.577299,570:5.3220325,477:4.9567957]
  5. 2441031440670827430	[632:21.5,176:18.084661,183:15.684914,260:14.2175,207:13.510652,11:12.28147,307:12.28147,32:12.28147,518:12.28147,256:12.28147]
  6. 4698311441097046150	[263:3.9337947,839:3.9337947,840:3.9337947,838:3.9337947,11:3.4747553,307:3.4747553,32:3.4747553,518:3.4747553,256:3.4747553,301:3.4747553]
  7. 5307571441160362208	[826:1.0,259:1.0,518:1.0,307:1.0,11:1.0,260:1.0,549:1.0,32:1.0,207:1.0,184:1.0]
  8. 5719691441098504387	[4:3.6454906,259:3.6147578,260:2.67091,261:2.6694102,183:2.517088,307:2.2876854,11:2.2876854,32:2.2876854,518:2.2876854,256:2.2876854]
  9. 5813281441095425044	[207:1.8607497,259:1.6642486,183:1.5539461,301:1.4806436,11:1.4806436,307:1.4806436,32:1.4806436,518:1.4806436,256:1.4806436,549:1.4099455]
  10. 6836071440729632252	[207:2.6088793,176:2.3617313,477:1.9966183,460:1.9945599,758:1.9945599,809:1.9945599,702:1.9945599,11:1.9926376,307:1.9926376,32:1.9926376]
  11. 7616681441095305067	[826:1.5790755,207:1.5721571,549:1.535743,301:1.50748,307:1.50748,11:1.50748,32:1.50748,518:1.50748,256:1.50748,839:1.5]
  12. 7732211441095211112	[826:3.7059078,549:3.7059078,307:3.3461132,256:3.3461132,518:3.3461132,11:3.3461132,301:3.3461132,32:3.3461132,570:3.1800203,477:3.1795032]
  13. 8211761441096060717	[826:1.0,259:1.0,518:1.0,307:1.0,11:1.0,260:1.0,549:1.0,32:1.0,207:1.0,184:1.0]
  14. 8305691441168039389	[577:2.2471673,4:2.083036,570:2.0549815,809:2.0,460:2.0,11:2.0,826:2.0,32:2.0,307:2.0,549:2.0]
  15. 8641451441097297246	[11:1.0,632:1.0,518:1.0,826:1.0,260:1.0,570:1.0,549:1.0,32:1.0,307:1.0,477:1.0]
  16. 8651081441095283643	[184:6.597979,258:6.1955295,260:6.1955295,826:5.5266876,549:5.5266876,477:5.5266876,259:4.662548,261:4.662548,11:4.626224,307:4.626224]
这样就得出了每个用户的推荐物品；

mahout 还有一个经常用到的算法 物品相似度 ，这样得到的结果是物品间的相度：

 
 
  1. mahout itemsimilarity  -i /mahout/itemcf/data1   -o  /mahout/itemcf/result1 -s SIMILARITY_LOGLIKELIHOOD --tempDir /mahout/itemcf/temp1
糖糖_
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mahout推荐算法usercf itemcf,slopeone三种算法实现
11-18
用web的形式实现了mahout中的三种基本算法，前参考博客：http://blog.csdn.net/zeqblog/article/details/16809223
基于Mahout的图书推荐系统
panguoyuan的专栏
02-05 3251
一、 用Maven搭建Mahout的开发环境 package com.panguoyuan.mahout.itemcf; import java.io.File; import java.io.IOException; import java.util.List; import org.apache.mahout.cf.taste.common.TasteException; impor
Mahout介绍和简单应用
Null的博客
08-31 4554
Mahout学习（主要学习内容是Mahout中推荐部分的ItemCF、UserCF、Hadoop集群部署运行） 1.Mahout是什么？ Mahout是一个算法库,集成了很多算法。 Apache Mahout 是 Apache Software Foundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。 Mah...
【mahout笔记】初步理解itemCF（基于物品的推荐算法）在mahout的实现
猫球球的博客
07-28 2376
之前分析了基于用户的CF的原理。今天尝试调试一下基于物品的CF算法。 再次声明，本文部分内容是参考：https：//blog.csdn.net/wolvesqun/article/details/52757772 感谢大佬的整理为我指明方向。 基于物品的CF的原理和基于用户的CF类似，只是在计算邻居时采用物品本身，而不是从用户的角度，即基于用户对物品的偏好找到相似的物品，然后根据用户的历史偏...
推荐系统实战第二章 ｜ 利用用户行为数据
m0_37721974的博客
06-25 467
推荐系统实战第二章 - 利用用户行为数据 一、用户行为数据简介 用户行为分类 a. 显性反馈行为：用户明确表示对物品喜好的行为；比如评分，反馈喜好与否 b. 隐性反馈行为：页面浏览行为 用户行为分析 2.1 用户活跃度和物品流行度的分布 长尾分布：英文中大部分词的词频很低，只有很少的词被经常使用 2.2 用户活跃度和物品流行度的关系 仅仅基于用户行为数据设计的推荐算法一般称为协同过滤算法。 分类： 基于用户的协同过滤算法 & 基于物品的协同过滤算法 实验设计和算法评测 3.1 数
Mahout之Item-based应用使用
08-04
《Mahout之Item-based应用使用》 Apache Mahout是一个开源的机器学习库，主要专注于大规模数据集上的推荐系统、分类和聚类算法。在这个主题中，我们将深入探讨Mahout中的Item-based协同过滤（Item-based ...
Mahout RandomForest Example使用步骤
04-07
- 使用 Mahout 提供的工具或者自定义代码将 CSV 数据转换为适合 Mahout 处理的格式，例如 SequenceFile 或 HDFS 上的文本文件。 2. **导入数据**： - 将转换后的数据输入到 Hadoop 文件系统中，以便 Mahout 可以...
Mahout推荐算法API详解
01-30
Mahoutt推荐算法，从数据处理能力上，可以划分为2类：单机内存算法实现基于Hadoop的分步式算法实现单机内存算法实现：就是在单机下运行的算法，是由cf.taste项目实现的，像我的们熟悉的UserCF,ItemCF都支持单机内存...
mahout：Apache Mahout的镜像
02-03
欢迎使用Apache Mahout！ Apache Mahout:trade_mark:项目的目标是构建一个环境，以快速创建可扩展的高性能机器学习应用程序。 有关Mahout的其他信息，请访问设置环境无论您是使用Mahoutshell，运行命令行作业还是将...
userCF、ItemCF的简单实现
YJ语
07-09 498
1 前言 仔细了解的可以参考：https://blog.csdn.net/The_dream1/article/details/118607825 这里简单说一下： 基于userCF的协同过滤： 当一个用户A需要个性化推荐的时候， 我们可以先找到和他有相似兴趣的其他用户， 然后把那些用户喜欢的， 而用户A没有听说过的物品推荐给A。 基于ItemCF的协同过滤： ItemCF算法并不利用物品的内容属性计算物品之间的相似度， 主要通过分析用户的行为记录计算物品之间的相似度， 该算法认为， 物品a和物品c具
使用Mahout实现基于用户的协同过滤（user-based CF）算法/Mahout推荐系统入门实践
如烟
10-24 3656
Mahout是 Apache Software Foundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用Apache Hadoop库，Mahout可以有效地扩展到云中。逻辑回归Bayesian贝叶斯SVM支持向量机Perceptron感知器算法神经网络随机森林有限波尔兹曼机Canopy聚类K均值算法模糊K均值。
推荐系统 Mahout入门之简单使用
kicinio的博客
06-26 5954
Mahout： Apache Mahout 是 Apache Software Foundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout项目目前已经有了多个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到Hadoop集群。 推荐系统的数学原理： 以最简单的基于协同过滤而言，其数学原理在最简化抽象形式而言就是比
Mahout学习系列之推荐算法
YueBanWa的博客
01-16 1520
Mahout学习系列之推荐算法 来源：Gamer_gyt阅读：356时间：2016-04-01 00:54 分享： 0 参考： 从源代码剖析Mahout推荐引擎       mahout 推荐系统示例       Mahout推荐算法API详解 使用Mahout实现协同过滤  Mahout的taste推荐系统里的几种Recommender分析
Mahout中基于Item的协同过滤之pairwiseSimilarity
数据挖掘|数据开发|数据分析开发|大数据|hbase|hadoop|云存储|云计算|推荐系统
02-12 1144
Mahout 基于item的协同过滤
mahout 协同过滤 参数大全
左手coding，右手cooking
05-29 2068
Mahout0.9—Hadoop2.20—协同过滤算法 1.1. 基于物品的协同过滤推荐函数 Mahout支持推荐函数，通过mahout –-help 查看：函数1：itemsimilarity: : Compute the item-item-similarities for item-based collaborative filtering itemsimilarity是计算物品相似度矩阵
Mahout实现一个基于性别的物品相似度量的方法GenderItemSimilarity
杨鑫newlife的专栏
02-19 1482
Mahout实现一个基于性别的物品相似度量的方法GenderItemSimilarity
Mahout实例（UserCF,ItermCF,SlopOne）
kyrin(云中鹤)
11-18 5236
一般，电影推荐系统测试数据来源：http://grouplens.org/datasets/movielens/   最近，在研究数据挖掘中的推荐系统，很深奥，还专门买了一本《推荐系统实践》的书，里面讲解的还行吧，凑活！在网上也是看各种博客，各种资料！！ 自己也尝试了自己动手实现一下，但是比起Mahout开源项目中的算法效率，我写的效率很低，所以就决定使用Mahout了，虽然Mahout只是
springboot使用mahout
最新发布
05-10
将 Mahout 与 Spring Boot 结合使用，可以为 Web 应用程序提供更智能的功能。 要在 Spring Boot 中使用 Mahout，需要先将 Mahout 添加到项目的依赖中。可以在 Maven 或 Gradle 中添加 Mahout 的依赖项，然后在代码...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值