图计算
神之凝视
这个作者很懒,什么都没留下…
展开
-
GraphX图计算之aggregateMessages算子案例详解
一.简介GraphX中的核心聚合操作为aggregateMessages。该运算符将用户定义的sendMsg函数应用于图形中的每个边三元组,然后使用该mergeMsg函数在其目标顶点处聚合这些消息。class Graph[VD, ED] { def aggregateMessages[Msg: ClassTag]( sendMsg: EdgeContext[VD, ED, Msg] => Unit, mergeMsg: (Msg, Msg) => Msg,原创 2020-09-03 17:39:10 · 802 阅读 · 0 评论 -
基于GraphX实现社交网络分析
一.社交网络分析的主要应用在分析复杂的社会、技术以及信息系统时,我们常把这些系统描述成网络的形式。在这样的关系网络中,节点代表一个成员,而边就代表成员之间的关系。在现实生活中,一个人可能从属于不同的团体,比如其工作的部门、生活的小区、同学圈子等等。如果能把这些不同的圈子自动分析出来,大到舆情监控,小到推荐好友以及扩展新用户、精准广告投放等,这些场景都能通过社交网络分析来提升效果。结合目前日益火爆的“大数据”,这就是应用大数据来解决实际问题的一个很好的例子。所谓圈子,就是把人归属到 不同的群体中。落实到算原创 2020-08-20 15:43:51 · 1389 阅读 · 0 评论 -
Spark GraphX图计算入门
一.什么是图计算图计算,可以简单理解为以图这种数据结构为基础,整合相关算法来实现对应应用的计算模型。社交网络中人与人之间的关系,如果用计算机数据结构表示,最合适的就是图了。其中图的顶点表示社交中的人,边表示人与人之间的关系。所以要做社交网络分析,先要了解图计算,这是整个分析的基础。也正如此,Spark的图计算库叫GraphX。二.图的基本概念图是基础的数据结构,和链表、树不同,它是一种非线性数据结构。其基本结构很简单,如下图:一个图由定点集V和定点间的关系集合E组成,可以用二元组定义为G=(V,E原创 2020-08-17 19:03:24 · 2428 阅读 · 0 评论