Spark GraphX 图形化实验手册（1）

最新推荐文章于 2022-06-12 22:51:01 发布
最新推荐文章于 2022-06-12 22:51:01 发布
阅读量373 收藏
点赞数
分类专栏： 大数据 文章标签： spark 算法 图搜索算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63067191/article/details/124334708
版权

Spark GraphX 图形化实验手册

一、基本入门

1、准备收据

SNAP: Network datasets: High-energy physics theory citation network

[root@node1 etc]# spark-shell --master local[2]

2、上传数据到本地文件

 

3、开始spark程序

 scala> import org.apache.spark.graphx._  //导入相关依赖
 import org.apache.spark.graphx._  
 ​
 scala> val graph = GraphLoader.edgeListFile(sc,"/datas/test.txt") //读取数据从hdfs
 graph: org.apache.spark.graphx.Graph[Int,Int] = org.apache.spark.graphx.impl.GraphImpl@7b6b3ed6

GraphLoader是GraphX类库里的对象，通过上一

最低0.47元/天 解锁文章
鸣倬
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实验十九 Spark实验：GraphX
WistWill的博客
04-20 1696
实验指导： 19.1 实验目的 1．了解Spark的图计算框架GraphX的基本知识； 2．能利用GraphX进行建图； 3．能利用GraphX进行基本的图操作； 4．理解GraphX图操作的算法。 19.2 实验要求 要求实验结束时，每位学生能完成正确运行Spark GraphX的示例程序，正确上传到集群中运行得到正确的实验结果。 实验结束时能对实验代码进行一定的理解。 19....
大数据学习笔记（七）-Spark的图形化工具的使用
狂暴棕熊的博客
12-01 1982
启动Spark集群：start-all.sh 进入集群的spark-shell: spark-shell –master=spark://hadoop000:7077 进入集群的WebUI管理界面：hadoop000:8080 打开EventLog： conf下的spark-defaults.conf开启配置：spark.eventLog.enabled true spa
Spark GraphX图形数据分析
菜鸟也学大数据的博客
11-23 621
图(Graph)概念 图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构 通常表示为二元组：Gragh=（V，E） 可以对事物之间的关系建模 应用场景 在地图应用中寻找最短路径 社交网络关系 网页间超链接关系 顶点(vertex)与边(Edge) 顶点与边的关系 Graph=(V,E) 集合V={v1,v2,v3} 集合E={(v1,v2),(v1,v3),(v2,v3)} 有向图 G=(V,E) V={A,B,C,D,E} E={<A,B&g
Spark Graphx学习笔记(粉丝计算实例,pageRank算法 有maven依赖)
Mr_Bright的博客
11-26 593
package Graph import org.apache.spark.sql.SparkSession // 导入Spark Graph包 import org.apache.spark.graphx._ /** * @Author Bright * @Date 2020/11/23 * @Description 用的最多的就是模式匹配和柯里化 Graph算法：PageRank */ object GraphStu { def main(args: Array[String
SparkGraphX的简单讲解
Null的博客
05-30 4434
1.SparkGraphX的官方文档连接http://spark.apachecn.org/docs/cn/2.2.0/graphx-programming-guide.html
spark_graphx_python:使用Spark的GraphX库和GraphFrames创建图形
05-17
使用Spark的GraphX库和GraphFrames创建图形... 使用Spark GraphX（ ），GraphFrames（ ）和D3（ ）库的教程在Spark中创建，分析和可视化图形。 tutorial.ipynb ：Jupyter笔记本教程 d3.html ：D3生成的图形视图 中等的
spark-graphx:Spark GraphX-社会图上的Pregel，PageRank和Dijkstra
05-13
使用Pregel和PageRank算法进行图分析已实施的操作基于图度的社交图中大多数连接的用户。... Spark允许使用两种策略来构建PageRank： dynamically ，此实现使用Pregel接口并运行PageRank until convergence和i
Spark GraphX In Action 2016英文原版.pdf
04-16
《Spark GraphX in Action》是2016年出版的一本深入探讨Spark GraphX框架的专业书籍，主要聚焦于大数据环境下的图形计算。本书为高清版本，包含完整的索引目录，便于读者查阅和学习。 Spark是Apache软件基金会下的...
Spark Graphx in Action
12-26
A lot of companies, including the ones we work for and have worked for in the past, have put Spark—though not necessarily GraphX—into production. This makes it more than just a little convenient ...
Graph-图可视化
zhangkai1992的专栏
10-11 3788
1 Jung2介绍 随着Graph图相关的应用，基于一种可视化工具进行数据分析是一种十分必要的工具，将极大便利的加快分析。随着大数据的发展，图神经网络，基于图的团伙发现算法，聚集算法等越来越多的应用到业务之中，仅仅从数据角度来看图的结果比较晦涩难懂，本文介绍一种java的可视化图Graph的工具-jung2，对于英文较好的同学，这里有一篇英文文档专门介绍Jung的使用方式，可以一读。http://www.grotto-networking.com/JUNG/JUNG2-Tutorial.pdf 2 步骤 .
Spark一些个人总结
hhfhhf12345678的博客
06-12 4717
随着大数据技术的发展，一些更加优秀的组件被提了出来，比如现在最常用的Spark组件，基于RDD原理在大数据处理中占据了越来越重要的作用。在此我们探索了Spark的原理，以及其在大数据开发中的重要作用。...
代码库：DGL_基本框架
U got this
04-11 1739
文章目录导入数据集访问数据集 ndata edata节点信息边信息构造模型并训练构造dgl graph并查看图信息构造特征获取子图保存与加载模型自定义GNN moduleBuilt-in message and reduce function节点和边apply APIUser Defined FunctionLink PredictionGraph Classification(undone)Test import numpy as np import pandas as pd from matplotli
GraphX学习笔记——可视化
weixin_33725239的博客
01-23 432
首先自己造了一份简单的社交关系的图 第一份是人物数据，id和姓名，person.txt 1 孙俪 2 邓超 3 佟大为 4 冯绍峰 5 黄晓明 6 angelababy 7 李冰冰 8 范冰冰  第二份是社交关系数据，两个人的id和社交关系，social.txt 1 丈夫 2 2 妻子 1 1 搭档 3 3 同学 4 3 好友 5 5 好友 3 5 妻子 6 5 好友 7 7 好友 8 ...
Spark GraphX 对图进行可视化
Liu-Cheng Xu
07-14 5543
Spark 和 GraphX 对并不提供对数据可视化的支持, 它们所关注的是数据处理. 但是, 一图胜千言, 尤其是在数据分析时. 接下来, 我们构建一个可视化分析图的 Spark 应用. 需要用到的第三方库有: GraphStream: 用于画出网络图 BreezeViz: 用户绘制图的结构化信息, 比如度的分布. 这些第三方库尽管并不完美, 而且有些限制, 但是相对稳定和易于使用. 安装 Gra
GraphX图计算图处理知识图谱简单可视化核心技术
专注交流
06-04 7039
准备在CSDN上写一个关于GraphX的专栏，这是第一篇文章。 　　本文介绍使用GraphX创建一张图并可视化的关键技术，创建好的图存储在Graph[VD,ED]对象中，可视化所使用的技术框架是第三方Java动态图形管理组件。 在可视化结果中，使用标签分别在顶点和边的旁边标注了人物的姓名和人物之间的关系。
graphx操作实例05-VertexRDD和EdgeRDD属性测试
Carl
01-08 2953
filter、mapValues、diff（测试之后感觉有问题）、leftJoin、innerJoin、aggregateUsingIndex、reverse、 import org.apache.spark._ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org
Spark GraphX图计算框架原理概述
不清不慎的博客
08-24 1万+
言之易而为之难，学习大数据之图计算，就是从“浊”中找出“静”的规律，达到“清”的境界；从“安”中找出“生”的状态。 概述 GraphX是Spark中用于图和图计算的组件，GraphX通过扩展Spark RDD引入了一个新的图抽象数据结构，一个将有效信息放入顶点和边的有向多重图。如同Spark的每一个模块一样，它们都有一个基于RDD的便于自己计算的抽象数据结构（如SQL的DataFram...
GraphX入门简介
热门推荐
zx8167107的博客
12-11 1万+
GraphX入门 1.     GraphX应用背景    Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。 众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现在的图处理基本都是分布式的图处理，而并非单机处
Spark GraphX
最新发布
05-01
Spark GraphX是Apache Spark提供的用于图形计算的库，它在Spark的基础上扩展了Graph RDD。GraphX提供了一个统一的数据结构和API，以便于用户使用图形数据进行复杂的计算，包括图形遍历、图形分析和图形计算等。 在GraphX中，用户可以使用顶点（Vertex）和边（Edge）来描述图形数据，并且可以使用内置的算法库来执行各种计算任务，例如PageRank、连通性组件、最短路径等。 与其他图形计算框架相比，GraphX具有以下优势： 1. 高效性：GraphX采用了基于RDD的分布式计算模型，可以在大规模集群上高效地处理大型图形数据。 2. 灵活性：GraphX提供了丰富的API和算法库，用户可以根据自己的需求自由选择使用。 3. 易用性：GraphX的API设计简单易用，用户可以轻松地构建和处理图形数据，而无需深入理解底层细节。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值