【Hadoop】mahout推荐hadoop偏好矩阵-PreparePreferenceMatrixJob

Mahout的Hadoop推荐系统中,PreparePreferenceMatrixJob负责构建用户偏好矩阵。该过程分为3个步骤:1) 转换itemIDIndex,2) 合并浏览评分记录并转置,3) 建立浏览矩阵。每个步骤涉及不同的mapper和reducer,例如ToItemPrefsMapper和ToUserVectorsReducer,最终输出为 itemId->{userId1:score1, userId2:score2} 的格式。在整个过程中,对itemId进行了转换为int的操作,但其具体作用并不明确。" 112955514,10559726,Python定时器实现每天执行两次的任务代码,"['Python定时任务', '多线程编程', '时间判断']
摘要由CSDN通过智能技术生成
mahout推荐包括两部分,一部分是单机版的推荐,主要是以org.apache.mahout.cf.taste.*包下面;另一种则是hadoop版本的推荐主要是以org.apache.mahout.cf.taste.hadoop.*包下面。下面我们针对hadoop版本进行分析。在org.apache.mahout.cf.taste.hadoop.item包下面的RecommenderJob开始。
该job主要分为几个步骤,它首先执行第一个job是PreparePreferenceMatrixJob,该job主要负责构造一个用户的偏好或者叫浏览矩阵;第二个job则是生成协同矩阵, 点击查看第二个job计算协同矩阵。最后的输出形式为(itemId, VectorWritable<userId, pref>)即itemId-> {userId1:score1, userId2:score2}
其中该PreparePreferenceMatrixJob又分为三个步骤完成:

第一个步骤转化itemIDIndex,通过一个mapper与一个reducer完成。

这步主要是将itemId转成一个int。之所以要做,主要是因为它其后面要使用的很多数据结构都是基于int的。如Vector之类还有VectorWritable..
其中ma
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值