GraphX对edgelist文件格式的要求

最新推荐文章于 2021-05-06 14:28:58 发布
最新推荐文章于 2021-05-06 14:28:58 发布
阅读量2.3k 收藏 1
点赞数 2
分类专栏： spark 大数据 文章标签： spark graphx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sizheng0320/article/details/104024597
版权

前阵子踩过的一个坑，发朋友圈了，转过来记录一下。

是关于GraphX读取edgelist文件失败的问题，报invalid line错误。后来从《Spark GraphX图计算核心源码分析【图构建器、顶点、边】》查到，GraphX能识别的edgelist文件的格式，两列之间用一个或多个空格分隔，而不能是用逗号分隔的csv。如下图所示。973GB的文件再处理一遍我找谁说理去。。。。。

在这里插入图片描述

sizheng0320
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
edgelist2binary:将边列表图形格式转换为ngraph的二进制表示形式
05-19
edgelist2binary 将边列表图形格式转换为ngraph的二进制表示形式 用法 假设您有一个文件edges.txt写为 var toBinary = require ( 'edgelist2binary' ) ; toBinary ( 'edges.txt' ) ; 该命令将使用流传输方法并将整个文件转换为密集的格式。 您还可以传递可选的第二个参数，它将被转发到ngraph.tobinary ： toBinary ( 'edges.txt' , { outDir : '/temp' // save to temp folder } ) ; 注意：对于具有数百万个节点的大型图形，请确保增加节点的最大内存： node --max-old-space-size=6144 [your serializer file name.js] 安装 使用可以： npm
边列表（edgelist）和邻接矩阵（adjacency）相互转化（how to convert edge list to adjacency, or adjacency to edge list）
最新发布
zyj15393961975的博客
04-16 988
其实有很多方法，比如数据框的长宽格式转换，我知道的可能是最繁琐的一种……🤣🤣🤣。
ngraph.toedgelist:将ngraph.graph保存到边缘列表
05-05
ngraph.toedgelist 将保存到边列表中。 用法 // let's say your graph has three edges: var graph = require ( 'ngraph.graph' ) ( ) ; graph . addLink ( 1 , 2 ) ; graph . addLink ( 1 , 3 ) ; graph . addLink ( 2 , 4 ) ; var toEdgeList = require ( 'ngraph.toedgelist' ) ; var edgeList = toEdgeList ( graph ) ; 现在edgeList等于[ [ 1, 2 ], [ 1, 3 ], [ 2, 4 ] ] 。 边缘列表作为字符串 您也可以将边列表另存为字符串： var str = toEdgeList . asString (
MySQL相关知识点（原理、面试、工作）
本人拙笔，记录一些开发、面试中的笔记，希望能帮到你。
03-04 772
MySQL相关常识欢迎使用Markdown234新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown234 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mark
从社交网络图的edgelist得到adj
梦否
05-06 1337
为了从邻接列表中得到图的邻接矩阵表示，对我而言常见的一种做法是： import networkx as nx G = nx.read_edgelist('graph.edgelist') A_mat = nx.adjacency_matrix(G) 但是，这么做存在一个问题。 问题     那就是如果在文件graph.edgelist中对于有些图中的节点编号并没有存储到graph.edgelist文件中，也就是缺失了部分，但是对于该节点而言还是存在着特征数据，此时使用networkx读取到的G就会缺失这部
graphx:Flutter的GraphX lib
03-31
为了使GraphX场景支持Hot Reload ，您应该在addedToStage内初始化变量和DisplayObjects，并有选择地在dispose对其进行清理。 ...跳转到...背景。 GraphX:trade_mark:在这里可以帮助您在Flutter应用程序中构建自定义...
GraphX介绍
01-27
SparkGraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁...GraphX由于底层是基于Spark来处理的，所以天然就是一个分布式的图处理系统。图的分布式或者并行处理其实是把图拆分成很多的子图，
graphx .pdf
04-20
本资源是graphx的学习笔记，供感兴趣的同学学习，欢迎交流学习，持续更新博客。如果有纰漏欢迎指出，本人欣然接受
assembly-graph:比较装配图文件格式
05-20
在IT行业中，装配图文件格式是用来表示复杂系统或软件组件之间的关系和依赖性的图形表示法。这些文件格式有助于理解和分析不同组件如何组合在一起工作。在本篇中，我们将深入探讨几种常见的装配图文件格式，包括ASQG...
Spark GraphX源码分析.pdf
12-24
Spark GraphX源码分析 Spark 大数据框架的 GraphX 子框架 大数据、图计算，源码分析书
一波儿networkx 读写edgelist，给节点加attribute的操作
weixin_30241919的博客
09-06 2369
一波儿networkx 读写edgelist，给节点加attribute的操作 一波儿networkx 读写edgelist，给节点加attribute的操作 import numpy as np import networkx as nx import opera...
深度之眼Paper带读笔记GNN.02.LINE
老毛的博客
09-08 945
动态网络如何更新 多重网络最新解决方案
Gephi简易学习[三]————创建节点列表、边列表，并使用Gephi导入
qq_963157144的博客
12-09 2万+
1.创建节点列表，生成_nodelist.csv,并使用Gephi导入 (注意数据的问题，并修改) id,姓名,性别，年龄 1,张三,男,20 2,李四,男,21 3,王五,女,22 4,赵六,女,22 5,小明,男,18 6,小华,女,17 2.创建边列表，生成_edgelist.csv,并使用Gephi导入 source,target 1,3 2,3 2,4 3,4 3,5   ...
graphx操作实例01-edgeListFile导入数据
Carl
01-08 5630
import org.apache.spark._ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD object Day02 { def main(arg
python-igraph基本用法（一）
热门推荐
木子木泗的博客
09-19 3万+
从边列表文件生成网络 　　按照边列表的形式读入文件，生成无向图。 # -*- coding: utf-8 -*- #设置中文注释 import igraph as ig #按照边列表的形式读入文件，生成无向图 g = ig.Graph.Read_Edgelist("com-youtube.ungraph.txt", directed=False) 基本信息 ecount ...
networkx 读写文件学习
w986284086的博客
11-14 8930
读取.adjlist文件test.adjlista b c #a-b a-c d e #d-e读取import networkx as nx import matplotlib.pyplot as pltG = nx.read_adjlist(‘test.adjlist’) nx.draw(G) plt.show() mulitiline-adjlista 3 #a-b a-c
Spark GraphX学习笔记
qq_34531825的博客
08-26 1万+
Spark 2.0Graphx学习笔记 概述、图计算应用场景、Spark中图的建立及图的基本操作 利用顶点和边RDD建立一个简单的属性图、读取文件建立图 三种视图及操作、Spark GraphX中的图的函数大全、结构操作 子图subgraph、图的基本信息统计-度计算、Join 连接、相邻聚合消息聚合 图算法工具包、数三角形、连通图、PageRank让链接来投票 pregel、应用实例一Louvai
NetworkX系列教程(11)-graph和其他数据格式转换
weixin_33962923的博客
06-28 2617
小书匠Graph图论学过线性代数的都了解矩阵,在矩阵上的文章可做的很多,什么特征矩阵,单位矩阵等.grpah存储可以使用矩阵,比如graph的邻接矩阵,权重矩阵等,这节主要是在等到graph后,如何快速得到这些信息.详细官方文档在这里 目录: 12.graph和其他数据格式转换 12.1graph与字典(Dict) 12.2graph与列表(List) 12.3graph与numpy...
面向对象举例（一） —— 顶点（vertex）、边（edge）与图（graph）
weixin_30627341的博客
12-08 374
Graph： class Graph(dict): def __init__(self, vs=[], es=[]): for v in vs: self.add_vertex(v) for e in es: self.add_edge(e) ...
Spark GraphX实战解析
在书中，作者首先介绍了Spark GraphX的基本概念和核心API，包括Vertex（顶点）和Edge（边）的定义，以及如何构建和操作图数据模型。读者将了解到如何使用Pregel，这是一个灵感源自Google的Pregel图计算模型，来实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值