spark 工程导入

1、打开eclipse,选择File——New——Project——Java Project。输入项目工程名spark,选中spark文件目录;

导入成功后,会出现很多错误,删除多余的文件,只保留如下source



2、

    b) Run/Debug Settings -> Main: Main class: org.jivesoftware.launcher.Startup , 勾选 Stop in main

            Run/Debug Settings -> Classpath: User Entries 下增加目录: spark/src/resources

        c) Ant -> Add Buildfiles

            加入 spark/build/build.xml , 然后展开加入的Spark,然后双击 release (release 是 default 的,所以直接双击 Spark 也行),稍后,控制台显示 BUILD SUCCESSFUL 表示成功。

        d) Run 或 Debug 该 Spark 项目,顺利看到 Spark 的登录界面,完成。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark GraphX是Apache Spark的一个图计算框架,用于处理大规模图数据。它提供了一套丰富的图算法库,可以用于分析和处理图数据。 要开始使用Spark GraphX,首先需要将Spark和GraphX导入你的工程。例如,你可以使用以下语句导入所需的包: import org.apache.spark._ import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD 一旦导入Spark和GraphX,你就可以使用GraphX的图构建功能来创建图。你可以使用GraphGenerators来生成随机图,然后使用图的操作和算法来分析图数据。例如,你可以使用GraphX的pregel操作来实现单元最短路径算法。 以下是一个使用Spark GraphX构建图和计算单元最短路径的示例代码: import org.apache.spark.graphx._ import org.apache.spark.graphx.util.GraphGenerators // 创建一个带有边属性的图,边属性表示距离 val graph: Graph[Int, Double] = GraphGenerators.logNormalGraph(sc, numVertices = 100).mapEdges(e => e.attr.toDouble) val sourceId: VertexId = 42 // 设置起始点 // 初始化图,使除了根节点外的所有顶点的距离为无穷大 val initialGraph = graph.mapVertices((id, _) => if (id == sourceId) 0.0 else Double.PositiveInfinity) // 使用pregel操作计算最短路径 val sssp = initialGraph.pregel(Double.PositiveInfinity)( (id, dist, newDist) => math.min(dist, newDist), // Vertex Program triplet => { // 发送消息 if (triplet.srcAttr + triplet.attr < triplet.dstAttr) { Iterator((triplet.dstId, triplet.srcAttr + triplet.attr)) } else { Iterator.empty } }, (a,b) => math.min(a,b) // 合并消息 ) // 打印最短路径结果 println(sssp.vertices.collect.mkString("\n")) <span class="em">1</span><span class="em">2</span><span class="em">3</span>

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值