大数据
sizheng0320
这个作者很懒,什么都没留下…
展开
-
GraphX对edgelist文件格式的要求
前阵子踩过的一个坑,发朋友圈了,转过来记录一下。 是关于GraphX读取edgelist文件失败的问题。后来从《Spark GraphX图计算核心源码分析【图构建器、顶点、边】》查到,GraphX能识别的edgelist文件的格式,两列之间用一个或多个空格分隔,而不能是用逗号分隔的csv。如下图所示。973GB的文件再处理一遍我找谁说理去。。。。。 ...原创 2020-01-17 20:47:20 · 2364 阅读 · 0 评论 -
Spark中的一次ClassNotFoundException排除
前阵子,我把实验室小集群上的spark从2.0.0升级到了2.1.1,今天却遇到了ClassNotFoundException。困扰我很久,最后竟然如此简单~原创 2017-05-20 01:15:09 · 4663 阅读 · 0 评论