【Spark】（十七）GraphX之connectedComponents

最新推荐文章于 2023-11-22 08:29:56 发布
最新推荐文章于 2023-11-22 08:29:56 发布
阅读量996 收藏 4
点赞数 1
分类专栏： Spark 文章标签： spark 连通分量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianchun22/article/details/110188040
版权
本文介绍了Spark的GraphX组件中用于计算连通分量的方法。通过实例展示了如何使用Spark-Shell计算图的连通分量，并讨论了如何根据结果拆分连通子图，以及如何结合原始信息进行后续分析。
摘要由CSDN通过智能技术生成

连通分量

连通分量是一个子图，其中任何两个顶点通过一条边或一系列边相互连接，其顶点是原始图顶点集的子集，其边是原始图边集的子集
在这里插入图片描述
首先准备数据源，存放地址为Linux中/opt/kbfile目录下
links.csv

1,2,friend
1,3,sister
2,4,brother
3,2,boss
4,5,client
1,9,friend
6,7,cousin
7,9,coworker
8,9,father
10,11,colleague
10,12,colleague
11,12,colleague

people.csv

4,Dave,25
6,Faith,21
8,Harvey,47
2,Bob,18
1,Alice,20
3,Charlie,30
7,George,34
9,Ivy,21
5,Eve,30
10,Lily,35
11,Helen,35
12,Ann,35

最低0.47元/天 解锁文章
屡傻不改
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark Graphx--连通分量
May_J_Oldhu的博客
01-17 866
连通分量1.什么是连通分量2.计算连通分量的方法3.示例 1.什么是连通分量 连通分量是一个子图，其中任何两个顶点通过一条边或一系列边相互连接，其顶点是原始图顶点集的子集，其边是原始图边集的子集 2.计算连通分量的方法 class Graph[VD, ED] { def connectedComponents(): Graph[VertexID, ED] } 3.示例 即去掉了与其他顶点无关的那个顶点信息 package cn.kgc.spark.graphx import org.apache.
spark_graphx_python:使用Spark的GraphX库和GraphFrames创建图形
05-17
使用Spark的GraphX库和GraphFrames创建图形 使用Spark GraphX（ ），GraphFrames（ ）和D3（ ）库的教程在Spark中创建，分析和可视化图形。 tutorial.ipynb ：Jupyter笔记本教程 d3.html ：D3生成的图形视图 中等...
Spark GraphX之ConnectedComponents
jiandanbuguo的博客
11-29 2222
图的连通性介绍 无向图 顶点的连通性 在一个无向图 G 中，若从顶点 i 到顶点 j 有路径相连（当然从 j 到 i 也一定有路径），则称 i 和 j 是连通的。 连通图 在一个无向图 G 中，如果图中任意两点都是连通的，那么图被称作连通图 连通分量 无向图G的极大连通子图称为G的连通分量( Connected Component)，这里的极大是指顶点个数极大。任何连通图的连通分量只有一个，即是其自身，非连通的无向图有多个连通分量 有向图 弱连通图 有向图的底图（无向图）是连通图，则是弱连通图。简单来
graphx-ConnectedComponents
lm709409753的专栏
12-15 981
1. ConnectedComponents返回一个与原图结构相同的图，只是顶点的属性变为连通图中最小的顶点ID。 2.算法 grpahx源码 import scala.reflect.ClassTag import org.apache.spark.graphx._ object ConnectedComponents { /** * Compute the connecte...
GraphX之Connected Components
子清的博客
11-26 655
在Spark Graphx的org.apache.spark.graphx.lib包中有一些常用的图算法，其中一个就是Connected Components，本文将会介绍此算法的使用方法，下面是spark 1.6.3源码中对这个算法的注释： Compute the connected component membership of each vertex and return a graph with the vertex value containing the lowest vertex id in
2020.11.26课堂笔记(sparkGraphx算法之connectedComponents)
超可爱慕之
11-26 659
首先准备数据源： links.csv 1,2,friend 1,3,sister 2,4,brother 3,2,boss 4,5,client 1,9,friend 6,7,cousin 7,9,coworker 8,9,father 10,11,colleague 10,12,colleague 11,12,colleague people.csv 4,Dave,25 6,Faith,21 8,Harvey,47 2,Bob,18 1,Alice,20 3,Charlie,30 7,George,34
spark-graphx:Spark GraphX-社会图上的Pregel，PageRank和Dijkstra
05-13
使用Pregel和PageRank算法进行图分析已实施的操作基于图度的社交图中大多数连接的用户。... Spark允许使用两种策略来构建PageRank： dynamically ，此实现使用Pregel接口并运行PageRank until convergence和i
spark-graphx_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-graphx_2.11-2.4.0-cdh6.1.1.jar
spark-graphx-twitter：以Twitter为例的Spark和GraphX示例
02-06
《Spark与GraphX在Twitter数据处理中的应用实例》 Spark，作为大数据处理领域的明星框架，以其高效的内存计算和分布式处理能力赢得了广泛的认可。而GraphX是Spark生态系统中的一个组件，专门用于图数据处理，它提供...
spark-graphx_2.12-2.4.7.jar
05-31
Spark 项目 GraphX org.apache.spark/spark-graphx_2.12/2.4.7/spark-graphx_2.12-2.4.7.jar
ConnectedComponents:Spark的连通分量算法的实现
07-09
连接组件 这是“Hash-To-Min”算法的一种实现，可找出图的连通分量。 算法的详细信息可以在以下论文中找到： 可视化可以在这里找到： : 要创建 eclipse 项目，请运行以下命令： sbt/sbt eclipse 为了在 Spark 的本地模式上运行，请运行以下命令： sbt/sbt assembly # arguments: run <host> <iteration> <input path> <output> sbt/sbt " run local 4 input/test.txt output/test "
连通子图个数leetcode-Neo4j-GraphX:类似于Shifu-Neo4j-GraphX扩展了Neo4j图数据库，以在可扩展的数据集
07-06
连通子图个数Neo4j-GraphX Neo4j-GraphX 扩展了 Neo4j 图数据库，以在可扩展的数据集上使用 HDFS 和 Apache Spark 处理大数据图算法 Neo4j 的图形分析 建筑学 此扩展使用 Message Broker 架构，它是一个中间程序模块，可将消息从发送方的正式消息传递协议 (neo4j) 转换为接收方的正式消息传递协议 (Apache Spark)。 此消息代理用于将图形处理作业分发到模块。 子图从 Neo4j 导出，并在调度代理作业时写入。 在 Neo4j 将子图导出到 HDFS 后，会通知 Spark 的单独服务开始处理该数据。 然后这个扩展通过 Scala 调用 Spark 的 GraphX 模块开始图处理算法。 然后 Spark 的 GraphX 模块将序列化和分布式算法发送给 Apache Spark 进行处理。 支持的算法 SVD++（不稳定） 网页排名 亲近中心性 中介中心性 三角形计数 连接组件 强连接组件 标签传播（不稳定） Neo4j Mazerunner 服务 此图中的 Neo4j Mazerunner 服务是一个向 Ne
spark0.9.1集群模式运行graphx测试程序（LiveJournalPageRank,新增Connected Components）
Heron——Linux & ARM
04-21 5720
spark最新版发布了，之前的版本就已经集成了graphx，这个版本还改了一些bug。我做了简单测试，不过网上关于集群模式运行spark资料太少了，只有关于EC2（https://github.com/amplab/graphx/wiki/Launch-a-benchmarking-cluster）的，但是还很旧，好多命令都有变化了。很讨厌写安装类的博客不注明当前使用软件的版本，这是常识好不好？！
spark graphx：connectedComponents算子案例演示
bokzmm的博客
03-07 602
一、Spark graphx中 connectedComponents算子用法：返回一个图中所有连通子图的顶点集合，其中每个元素是一个（key,value）形式的二元组，key是各连通子图的顶点，value是该连通子图中数值最小的顶点。 二、代码演示： object GraphDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local[*]").setAppName(
图解Spark Graphx基于connectedComponents函数实现连通图底层原理
最新发布
朱季谦
11-22 2102
图解Spark Graphx基于connectedComponents函数实现连通图底层原理
GraphX之Connected Components算法
绿萝蔓蔓绕枝生
11-26 1017
在Spark Graphx的org.apache.spark.graphx.lib包中有一些常用的图算法，其中一个就是Connected Components，本文将会介绍此算法的使用方法，下面是spark 1.6.3源码中对这个算法的注释： Compute the connected component membership of each vertex and return a graph with the vertex value containing the lowest vertex id in
Spark GraphX之Connected Components
菜鸟也学大数据的博客
11-26 602
原文地址：https://www.jianshu.com/p/8b0a4ce52703 Connected Components介绍 Connected Components算法是计算Graph图中每个顶点所连接的最小顶点值，通过这个算法可以清晰的看到Graph图中有几个连通图 示例图 可以看到这个Graph图中存在两个连通图 测试数据 links.csv 1,2,friend 1,3,sister 2,4,brother 3,2,boss 4,5,client 1,9,friend 6,.
Spark组件之GraphX学习13--ConnectedComponents操作
Keep Learning
05-04 5668
更多代码请见：https://github.com/xubo245/SparkLearning 1解释 取联通部分 源码： object ConnectedComponents { /** * Compute the connected component membership of each vertex and return a graph with th
Spark GraphX实战解析
4. **图算法**：GraphX实现了多种图算法，如PageRank、ShortestPaths、ConnectedComponents等，这些都是图形分析中常用的方法，用于发现网络中的重要节点、最短路径和组件结构。 5. **性能优化**：Spark GraphX通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值