大数据
betterMia
专注时空数据挖掘,交通大数据分析,地图匹配。
展开
-
【Spark】Graphx用例(Java)
下面是通过边构造图的一个简单的例子:SparkConf conf = new SparkConf().setMaster("local").setAppName("graph");JavaSparkContext javaSparkContext = new JavaSparkContext(conf);ClassTag<String> stringTag = scala.re...原创 2020-01-03 23:05:17 · 1183 阅读 · 0 评论 -
【Spark】Graphx开发环境搭建(Java)
查找需要的 jar 包安装地址:https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.11/2.4.0其中,2.11 是 scala 的版本,2.4.0 是 spark 的版本。在 eclipse 中导入 jar 包可能出现的问题一开始下载的版本是 spark-graphx_2.12/2.4.0,而已经安装...原创 2020-01-03 21:03:34 · 1668 阅读 · 0 评论 -
【Spark】GraphX简介
GraphXSpark GraphX 是一个分布式图处理框架,它是基于 Spark 平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。图的分布式或者并行处理其实是把图拆分成很多的子图,然后分别对这些子图进行计算,计算的时候可以分别迭代进行分阶段的计算,即对图进行并行计算。GraphX 的核心抽象是 Resilient Distributed Property...原创 2020-01-01 22:35:56 · 439 阅读 · 0 评论