Spark GraphX关联操作之joinVertices和outerJoinVertices的区别

最新推荐文章于 2020-11-25 19:47:21 发布
最新推荐文章于 2020-11-25 19:47:21 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： 图计算 文章标签： spark GraphX joinVertices outerJoinVertices
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29447481/article/details/90258956
版权

它们的共同点都是：

根据给定的另一个图(原图的每个顶点id至多对应此图的的一个顶点id)把原图中的顶点的属性值根据指定的mapFunc函数进行修改，返回一个新图，新图的顶点类型不变。

不同点是：

当图中的某个顶点id在另一个图中不存在时，它们的处理不同

joinVertices的操作是会保留原图中该顶点属性的原值

outerJoinVertices操作是使用None值作为该顶点的属性值

叶不二
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
graphx操作实例02-joinVertices
Carl
01-08 3410
例子说明：利用joinVertices和outJoinVertices对graph的顶点属性进行修改 import org.apache.spark._ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.graphx._ import or
spark-graphx:Spark GraphX-社会图上的Pregel，PageRank和Dijkstra
05-13
使用Pregel和PageRank算法进行图分析已实施的操作基于图度的社交图中大多数连接的用户。 基于单用户分离度。 输入是用户的ID-输出是具有用户的元组列表以及它们之间的分隔度。 两个定义的用户之间的隔离度（作为单个...
spark graphx joinvertices和outerjoinvertices简介
lv_tianxiaomiao的博客
04-19 3372
spark有个graphx的功能，能够处理图类型数据 先介绍一下graphx中的基本结构，其中有vertex 和edge vertex：包括点和属性，也就是类似于（id, attr） edge：包括原点， 目标点， 边属性，类似于(src, dst, attr) 这里介绍的是joinvertices和outerjoinvertices， 都是对顶点进行的操作，所以不涉及边
sparkGraphX 图操作：（joinVertices、outerJoinVerticies）
小宫主的博客
04-15 819
一、解释 1、 joinVertices/outerJoinVerticies: 有时候需要从外部的RDD中跟Graph做数据的连接操作。例如：外部的user属性想要跟现有的graph做一个合并，或者想把图的顶点的属性从一个图迁移到另一个图中。这些可以用join来完成。 def joinVertices[U](table: RDD[(VertexId, U)])(map: (VertexI...
spark-graphx-outerJoinVertices
chengyuan2789的博客
06-28 363
outerJoinVertices的作用：通过join将两个图的顶点属性进行汇总，因为是outjoin，可能左边的图的点，没有join上右边对应的点，这时候，这个函数给你了一个选择的判断。 定义： def outerJoinVertices[U, VD2](other: RDD[(Vert...
spark的outerjoinvertices简介
迎接小天使
08-12 650
一、outerjoinvertices的介绍 graphx中的基本结构，其中有vertex 和edge vertex：包括点和属性，也就是类似于（id, attr） edge：包括原点， 目标点， 边属性，类似于(src, dst, attr) outerjoinvertices是对顶点进行的操作，所以不涉及边 outerjoinvertices： 这个操作会把关联上的定点的属性给重新赋值, 所以这样join的话就有点leftjoin的感觉 def outerJoinVertices[U: Class
spark graphx文档_Spark!_sparkgraphx操作文档_
10-03
spark graphx基础操作文档。。。。。。。。。。。。
spark_graphx_python:使用Spark的GraphX库和GraphFrames创建图形
05-17
使用Spark的GraphX库和GraphFrames创建图形 使用Spark GraphX（ ），GraphFrames（ ）和D3（ ）库的教程在Spark中创建，分析和可视化图形。 tutorial.ipynb ：Jupyter笔记本教程 d3.html ：D3生成的图形视图 中等...
Spark GraphX基本操作.pdf
最新发布
07-04
Spark GraphX 基本操作 Spark GraphX 是 Apache Spark 上的图形处理引擎，提供了一个高效、可扩展的图形处理解决方案。本文将介绍 Spark GraphX 的基本操作，包括创建图形、图形处理、图形查询等。 创建图形 在 ...
Spark Graph的outerJoinVertices操作实战！
邓佑权的博客
11-18 4716
Spark Graph的outerJoinVertices操作实战！ 一、outerJoinVertices是什么？ 图的vertices进行join操作，就要用到outerJoinVertices。 /** * Joins the vertices with entries in the `table` RDD and merges the results using `
Spark学习笔记：joinVertices & outJoinVertices
程序员之怒
05-13 3169
joinVertices 若graph顶点的Id在点集pointTest中，则将graph顶点的属性使替换为点集pointTest的点属性； 若graph顶点Id不在点集pointTest中，则不对graph顶点属性做任何修改。1.创建graphscala> val graph = GraphLoader.edgeListFile(sc, "file:///home/hadoop/1.txt")
GraphX之aggregateMessages、outerJoinVertices
czy的博客
11-19 373
aggregateMessages：aggregateMessages为GraphX中核心的聚合操作，他主要的功能是向领边发送信息，合并领边收到的信息。aggregateMessages方法的定义格式为： 其中 sendMsg 看做 map reduce 过程中的 map 函数，向邻边发消息，应用到图的每个边三元组(edge mergeMsg 指定两个消息到相同的顶点并保存为一个消息。可...
Graph图的算子(subgraph、joinVertices、outerJoinVertices),PageRank算法
qq_43012693的博客
11-25 725
结构算子 //创建顶点RDD val users = sc.makeRDD(Array( (1L, ("Alice", 28)), (2L, ("Bob", 27)), (3L, ("Charli", 65)), (4L, ("David", 42)), (5L, ("Ed", 55)), (6L, ("Fran", 50)) )) //创建各顶点间关系的RDD val relation = sc.makeRDD
Spark GraphX学习笔记
热门推荐
qq_34531825的博客
08-26 1万+
Spark 2.0Graphx学习笔记 概述、图计算应用场景、Spark中图的建立及图的基本操作 利用顶点和边RDD建立一个简单的属性图、读取文件建立图 三种视图及操作、Spark GraphX中的图的函数大全、结构操作 子图subgraph、图的基本信息统计-度计算、Join 连接、相邻聚合消息聚合 图算法工具包、数三角形、连通图、PageRank让链接来投票 pregel、应用实例一Louvai
Spark中文手册8：spark GraphX编程指南（1）
木东的博客
12-15 1390
1.什么是GraphX？ 2.如何将Spark和GraphX引入到项目中？ 3.从一个图中取出顶点特征加入到另外一个图中如何实现？ Spark中文手册-编程指南 Spark之一个快速的例子Spark之基本概念 Spark之基本概念 Spark之基本概念（2） Spark之基本概念（3） Spark-sql由入门到精通 Spark-sql由入门到精通续
Apache GraphX 图文详解
05-18 1542
GraphX 图文详解
GraphX笔记
liuxuejiang158的专栏
08-01 2675
val graph=GraphLoader.edgeListFile(sc,"/home/spark/spark/graphx/data/followers.txt")//加载边时顶点是边上出现的点,定点默认数据是1 val users = sc.textFile("/home/spark/spark/graphx/data/users.txt").map { line=> val field
Spark GraphX
赵英超的博客
06-21 2162
1、GraphX介绍1.1 GraphX应用背景Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现在的图处理基本都是分布式的图处理，而并非单机处理。Spark Gr...
Spark GraphX实战解析
5. **性能优化**：Spark GraphX通过优化的图表示和操作，如边缘导向的图切片，提高了性能和内存效率。它还支持用户自定义的迭代计算，以适应各种复杂的图算法需求。 6. **图流水线**：GraphX允许构建复杂的图流水线...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值