sparkGraph
数据的星辰大海
简单地做自己,踏实的做事情
展开
-
spark的outerjoinvertices简介
一、outerjoinvertices的介绍 graphx中的基本结构,其中有vertex 和edge vertex:包括点和属性,也就是类似于(id, attr) edge:包括原点, 目标点, 边属性,类似于(src, dst, attr) outerjoinvertices是对顶点进行的操作,所以不涉及边 outerjoinvertices: 这个操作会把关联上的定点的属性给重新赋值, 所以这样join的话就有点leftjoin的感觉 def outerJoinVertices[U: Class原创 2020-08-12 19:41:58 · 677 阅读 · 0 评论 -
sparkGraph的 aggregateMessage函数介绍
一、aggregateMessage函数 aggregateMessage函数有两个大操作,一个是sendMsg,一个是mergeMsg。aggregateMessages函数其对象是三元组。 sendMsg是将三元组的属性信息进行转发, mergeMsg是将sendMsg转发的内容进行聚合。 sendMsg函数以EdgeContex作为输入参数,没返回值,提供两个消息的函数sendToSrc:将Msg类型的消息发送给源节点 sendToDst:将Msg类型消息发送给目的节点。 通俗理解:即以边为对象,向原创 2020-08-10 17:11:41 · 633 阅读 · 0 评论 -
sparkGraph的pregel
本文是为了加强s理解park的pergel算法 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200809180931188.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTU0NTY1,size_16,color_FFFFFF,t_70 ** 一:Spark GraphX Pregel: *原创 2020-08-09 21:54:36 · 272 阅读 · 0 评论