intelliJ scala org.apache.spark没有graphx解决办法

最新推荐文章于 2020-09-06 19:43:13 发布
最新推荐文章于 2020-09-06 19:43:13 发布
阅读量585 收藏
点赞数 2
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arbitrator_yue/article/details/107871432
版权

作为spark初学者，使用intelliJ 的sbt scala进行学习。
想要进行图计算，在Scala跑通了wordcount样例后，graphx却不能跑通。
问题出在org.apache.spark 找不到graphx。网上狂搜也没有结果，最后在build.sbt 中加入
libraryDependencies += "org.apache.spark" %% "spark-graphx" %"2.4.6"
解决问题。
spark官方文档上只有
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.6"
是不能使用graphx的，切记~~

int antiluxism
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
GraphX编译报错
liuxuejiang158的专栏
07-16 4529
[error] /home/spark/spark/apps/sina/src/main/scala/test.scala:6: object graphx is not a member of package org.apache.spark [error] import org.apache.spark.graphx._ [error]                         ^
Spark中文手册8：spark GraphX编程指南（1）
木东的博客
12-15 1389
1.什么是GraphX？ 2.如何将Spark和GraphX引入到项目中？ 3.从一个图中取出顶点特征加入到另外一个图中如何实现？ Spark中文手册-编程指南 Spark之一个快速的例子Spark之基本概念 Spark之基本概念 Spark之基本概念（2） Spark之基本概念（3） Spark-sql由入门到精通 Spark-sql由入门到精通续
运行spark官方的graphx 示例 ComprehensiveExample.scala报错解决
weixin_30611509的博客
01-23 209
运行spark官方的graphx 示例 ComprehensiveExample.scala报错解决 在Idea中，直接运行ComprehensiveExample.scala，报需要指定master异常。 修改源码：指定master为local模式， val spark = SparkSession .builder .appName(s"${this.getClass...
Spark GraphX（一）
GatsbyNewton
11-08 2482
1.基础 Spark中属性图是由VertexRDD和EdgeRDD两个参数构成的。其中，每个vertex由一个唯一的64位长的标识符（VertexId）作为key。同时，属性图也和RDD一样，是不可变的、分布式的、可容错的。属性图Graph的定义如下： abstract class Graph[VD, ED]{ val vertices: VertexRDD[VD] val edges:
如何将Apache Spark GraphX与Scala一起使用
04-01 401
编者注：不要错过有关如何使用Apache Spark创建数据管道应用程序的新的免费按需培训课程-在此处了解更多信息。 这篇文章将帮助您开始在MapR沙盒上将Apache Spark GraphX和Scala一起使用。 GraphX是用于图并行计算的Apache Spark组件，它建立在称为图论的数学分支上。 它是一个位于Spark核心之上的分布式图形处理框架。 一些图形概念概述 图形...
Spark GraphX
mach_learn的专栏
06-15 4790
GraphX是spark的一个新组件用于图和并行图计算。在一个高水平，GraphX通过引进一个新的图抽象扩展了spark RDD：带有顶点和边属性的有向多重图。为了支持图计算，GraphX 提供了很多基本的操作（像 subgraph, joinVertices, and aggregateMessages）和pregel的一个优化变种。除此之外，GraphX 包含了一个正在增长的图算法和图构造的集合来简化图的分析任务
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
8. **生态系统**: Spark的生态非常丰富，包括DataFrame/Dataset API、Spark SQL、Spark Streaming、GraphX（图计算）、MLlib（机器学习库）和SparkR（R语言接口）。这些组件可以组合使用，满足各种大数据处理需求。 ...
graphx-algorithm:在 GraphX 和 Spark 风格中实现的图算法
06-10
graphx-算法在 GraphX 和 Spark 风格中实现的图算法集成开发环境IntelliJ IDEA >= 14 Scala SDK == 2.10.5 火花 1.3.0 GraphX 2.1.0 Apache Maven >= 3.3.1开发目录算法的实现放置在包org.apache.spark.graphx.iiot ...
spark-branch-2.3.zip
06-02
Spark是Apache软件基金会下的一个大数据处理框架，以其高效、易用和可扩展性著称。在本案例中，我们关注的是Spark的2.3版本，该版本是在Windows 10环境下，通过IDEA（IntelliJ IDEA）进行源码阅读和分析的。`spark-...
repository-spark.7z
08-08
在标签“spark”中，我们可以推测这个压缩包与Apache Spark直接相关，包括其核心库、Spark SQL、Spark Streaming、MLlib（机器学习库）或者GraphX（图计算库）等组件。开发者可能需要这个包来构建基于Spark的实时...
基于Spark-Graphx的大规模用户图计算和应用 完整高清
02-08
基于Spark-Graphx的大规模用户图计算和应用 完整高清 基于Spark-Graphx的大规模用户图计算和应用 完整高清
SparkScalaPrograms：用于实践的Spark和Scala程序
02-20
1. **Spark基础知识**：Spark的核心组件包括Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图计算）。了解Spark的基本架构，包括RDD（弹性分布式数据集）、DataFrame和Dataset，以及它们...
Apache Spark 3.0 GraphX编程指南
纸上得来终觉浅，绝知此事要躬行
09-06 753
学习地址：https://spark.apache.org/docs/latest/graphx-programming-guide.html 目录 总览 入门 属性图 属性图示例 图运算符 运营商摘要列表 物业经营者 结构算子 加盟运营商 邻里聚集 汇总消息（a​​ggregateMessages） Map Reduce三元组转换指南（旧版） 计算学位信息 收集邻居 缓存和取消缓存 Pregel API 图构建器 顶点和边缘RDD 顶点RDD 边缘RDD 优化.
用Apache Spark进行大数据处理 - 第六部分: 用Spark GraphX进行图数据分析
zhi_fu的博客
07-23 1948
大数据呈现出不同的形态和大小。它可以是批处理数据，也可以是实时数据流；对前者需要离线处理，需要较多的时间来处理大量的数据行，产生结果和有洞察力的见解，而对后者需要实时处理并几乎同时生成对数据的见解。 我们已经了解了如何将Apache Spark应用于处理批数据（Spark Core）以及处理实时数据（Spark Streaming）。 有时候，所需处理的数据是很自然地联系在一起的。
spark环境运行程序遇到几个坑
David的专栏
07-17 4814
1.mac下brew安装spark，运行spark-shell或start-all.sh提示spark-config start-master.sh等找不到 建议在spark.apache.org/download.html下载压缩文件，在本地解压后修改环境变量即可。 brew安装的spark，sbin目录在安装目录的libexec下面，运行脚本都是在安装目录／sbin下寻找，如此就会出现运行
SparkGraphX的简单讲解
Null的博客
05-30 4436
1.SparkGraphX的官方文档连接http://spark.apachecn.org/docs/cn/2.2.0/graphx-programming-guide.html
maven项目中，添加依赖后，出现"Dependency 'xxxx‘ not found"解决过程
热门推荐
ytfrdfiw的专栏
10-18 6万+
在idea中修改pom.xml文件，添加各种工程依赖的jar，一直没有问题，但有一天突然添加了一个jbpm3的依赖，发现一直报“Dependency 'xxx' not found"，但在maven的仓库中可以找到的，就觉得奇怪了。 经过一段时间的了解后，主要和几个文件有关： （1）、maven的settings.xml文件 如果你设置了镜像代理，但不巧的是设置成了如下内容（网上有帖子就要求...
【Spark】Graphx开发环境搭建（Java）
Mia
01-03 1670
查找需要的 jar 包 安装地址：https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.11/2.4.0 其中，2.11 是 scala 的版本，2.4.0 是 spark 的版本。 在 eclipse 中导入 jar 包 可能出现的问题 一开始下载的版本是 spark-graphx_2.12/2.4.0，而已经安装...
IntelliJ IDEA 2020.1与JDK14新特性深度解析
"这篇文章主要介绍了IntelliJ IDEA 2020.1版本与JDK 14的新特性和体验，包括IDEA的界面改进、功能增强和JDK 14的新语法支持等内容。" 在IntelliJ IDEA 2020.1中，开发者可以体验到一系列的改进和新特性。首先，IDEA...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值