shangwen_的专栏

计算机相关技术,Java,Python,Hadoop

用图的存储结构实现ItemCF

其实,网上有很多基于item的协同过滤的方法,对于数据量大的情况下,一般用MapReduce处理,也有基于内存的Spark类MapReduce的处理方式。


由于最近在学GraphX,其实user和Item之间也可以用图的方式去描述,至于为什么要做这么做?会不会多余呢,其实还是可以拥有自己的观点。

其实公式如下,引入了时间因素和同个订单因素:



N(i)表示买了i物品的用户数量,分子是买了i物品和j物品的共同用户数,嗯,就类似这个意思,本片文章不是主要详细说公式。



就像图描述的一样,如果user买了Item就有一条用户指向Item的一条边,所以user的邻居就是该user买过的所有商品的集合,而同理的Item的邻居就是买过该商品的User的集合,这样就很容易的计算上面的公式了。


对于Item来说,由于引入了时间因素和订单因素,item作为顶点要存储它属于哪个订单(如果一个订单的两个物品出现的频率高,他们的关联性就认为比较大)和有哪些用户买了它。所以构造了一个Item对象作为它的属性。



userIds记录为用户Id的key和array数组装的是用户多次买了该item的时间戳。

主要代码如下:

class Item extends Serializable {

  var itemId = 0L

  var orderIds = HashMap[Long, Boolean]()

  var userIds = HashMap[Long, ArrayBuffer[Long]]()

  def add(orderId: Long, userId: Long, time: Long, vid: Long) = {

    itemId = vid
    orderIds += (orderId -> true)

    if (userIds.get(userId) == None) {
      val arr = ArrayBuffer[Long]()
      arr.append(time)
      userIds += (userId -> arr)
    } else {
      val item = userIds(userId)
      item.append(userId)
    }

  }
}

熟悉完以上的基本步骤后,那就要开始构造图了,这里主要说说基本的原理:

我们可以通过Edge的RDD转化为图:


构造好图之后,然后我们通过其相应的API收集邻居的节点的Id,和相应节点的属性


好了,对于图来说我们如何确定他是user的顶点还是item的顶点呢?通过观察上面的图可以知道,我们以userId为srcId,itemId为dstId,既user的顶点为所有出度的顶点,item顶点为所有入度的顶点。

 // 找出所有Item节点的邻接顶点,该顶点集合即用户的id集合
    val itemRDD = newGraph.collectNeighborIds(EdgeDirection.In).filter { case (vid, array) => array.length > 0 }
 // 找出所有链接用户顶点的Item的id,和相应的属性
    val userRDD = newGraph.collectNeighbors(EdgeDirection.Out).filter { case (vid, array) => array.length > 0 }

得到的结果就类似与 itemRDD = {{item1,Array(user1,user3,user5,...)}.....},而userRDD = {{userId,Array((item1,itemAttr),(item2,item2Attr)) ......} ...... } 等结构。


接下来通过spark的相关操作计算出结果

如下图:



这种方式在数据量少的时候还是可以跑出结果的,但是数据量增大的时候,由于suffle量很大,spark出现了buffer超过Int.MaxValue的问题,这个目前还是个spark上未修复的问题。


解决这个问题的方式是:

1、采取别的编程方式,例如不使用图

2、优化原有的代码,减少suffle

3、可能还是机器少或者环境问题等等。

阅读更多
个人分类: spark
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

用图的存储结构实现ItemCF

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭