idea上创建Spark项目，执行报错如下

最新推荐文章于 2022-07-05 11:30:44 发布
原创 最新推荐文章于 2022-07-05 11:30:44 发布 · 866 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark

本文详细解析了Scala编译过程中出现的Error:scalac:Error:None.get错误，该错误源于尝试从None中获取值。解决方案是在项目结构的全局库中添加Scala依赖，确保编译器能找到必要的Scala库。

Error:scalac: Error: None.get
java.util.NoSuchElementException: None.get

at scala.None$.get(Option.scala:349)

at scala.None$.get(Option.scala:347)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.$anonfun$mkLambdaMetaFactoryCall$4(Delambdafy.scala:92)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.mkLambdaMetaFactoryCall(Delambdafy.scala:92)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transformFunction(Delambdafy.scala:258)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:265)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.internal.Trees.itransform(Trees.scala:1378)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:44)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:293)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.api.Trees$Transformer.$anonfun$transformTrees$1(Trees.scala:2559)

at scala.reflect.api.Trees$Transformer.transformTrees(Trees.scala:2559)

at scala.reflect.internal.Trees.itransform(Trees.scala:1359)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:44)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:293)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.internal.Trees.$anonfun$itransform$1(Trees.scala:1369)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:30)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:25)

at scala.reflect.internal.Trees.itransform(Trees.scala:1368)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:44)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:293)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.api.Trees$Transformer.$anonfun$transformStats$1(Trees.scala:2589)

at scala.reflect.api.Trees$Transformer.transformStats(Trees.scala:2587)

at scala.reflect.internal.Trees.itransform(Trees.scala:1378)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:44)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:293)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.internal.Trees.$anonfun$itransform$2(Trees.scala:1375)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:30)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:25)

at scala.reflect.internal.Trees.itransform(Trees.scala:1373)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:44)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:293)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.api.Trees$Transformer.$anonfun$transformStats$1(Trees.scala:2589)

at scala.reflect.api.Trees$Transformer.transformStats(Trees.scala:2587)

at scala.reflect.internal.Trees.itransform(Trees.scala:1416)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.super$transform(TypingTransformers.scala:40)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.$anonfun$transform$1(TypingTransformers.scala:40)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:30)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:25)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:279)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.api.Trees$Transformer.transformTemplate(Trees.scala:2563)

at scala.reflect.internal.Trees.$anonfun$itransform$4(Trees.scala:1420)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:30)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:25)

at scala.reflect.internal.Trees.itransform(Trees.scala:1419)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:44)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:293)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.reflect.api.Trees$Transformer.$anonfun$transformStats$1(Trees.scala:2589)

at scala.reflect.api.Trees$Transformer.transformStats(Trees.scala:2587)

at scala.reflect.internal.Trees.$anonfun$itransform$7(Trees.scala:1438)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:30)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:25)

at scala.reflect.internal.Trees.itransform(Trees.scala:1438)

at scala.reflect.internal.Trees.itransform$(Trees.scala:1348)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.internal.SymbolTable.itransform(SymbolTable.scala:16)

at scala.reflect.api.Trees$Transformer.transform(Trees.scala:2555)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.super$transform(TypingTransformers.scala:40)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.$anonfun$transform$2(TypingTransformers.scala:42)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.atOwner(TypingTransformers.scala:30)

at scala.tools.nsc.transform.TypingTransformers$TypingTransformer.transform(TypingTransformers.scala:25)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:293)

at scala.tools.nsc.transform.Delambdafy$DelambdafyTransformer.transform(Delambdafy.scala:56)

at scala.tools.nsc.ast.Trees$Transformer.transformUnit(Trees.scala:140)

at scala.tools.nsc.transform.Transform$Phase.apply(Transform.scala:30)

at scala.tools.nsc.Global$GlobalPhase.$anonfun$applyPhase$1(Global.scala:436)

at scala.tools.nsc.Global$GlobalPhase.applyPhase(Global.scala:429)

at scala.tools.nsc.Global$GlobalPhase.$anonfun$run$1(Global.scala:400)

at scala.tools.nsc.Global$GlobalPhase.$anonfun$run$1$adapted(Global.scala:400)

at scala.collection.Iterator.foreach(Iterator.scala:929)

at scala.collection.Iterator.foreach$(Iterator.scala:929)

at scala.collection.AbstractIterator.foreach(Iterator.scala:1417)

at scala.tools.nsc.Global$GlobalPhase.run(Global.scala:400)

at scala.tools.nsc.Global$Run.compileUnitsInternal(Global.scala:1452)

at scala.tools.nsc.Global$Run.compileUnits(Global.scala:1436)

at scala.tools.nsc.Global$Run.compileSources(Global.scala:1429)

at scala.tools.nsc.Global$Run.compile(Global.scala:1545)

at xsbt.CachedCompiler0.run(CompilerInterface.scala:115)

at xsbt.CachedCompiler0.run(CompilerInterface.scala:94)

at xsbt.CompilerInterface.run(CompilerInterface.scala:22)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

at java.lang.reflect.Method.invoke(Method.java:498)

at sbt.compiler.AnalyzingCompiler.call(AnalyzingCompiler.scala:101)

at sbt.compiler.AnalyzingCompiler.compile(AnalyzingCompiler.scala:47)

at sbt.compiler.AnalyzingCompiler.compile(AnalyzingCompiler.scala:41)

at org.jetbrains.jps.incremental.scala.local.IdeaIncrementalCompiler.compile(IdeaIncrementalCompiler.scala:32)

at org.jetbrains.jps.incremental.scala.local.LocalServer.compile(LocalServer.scala:26)

at org.jetbrains.jps.incremental.scala.remote.Main$.make(Main.scala:68)

at org.jetbrains.jps.incremental.scala.remote.Main$.nailMain(Main.scala:25)

at org.jetbrains.jps.incremental.scala.remote.Main.nailMain(Main.scala)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

at java.lang.reflect.Method.invoke(Method.java:498)

at com.martiansoftware.nailgun.NGSession.run(NGSession.java:319)

解决方法：
缺少Scala的依赖，在Project Structure下Global Libraries中添加上本地Scala的依赖即可

Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1418
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
Spark深入解析（八）：Spark整合YARN报错或无法查看日志
wzc8961661的博客
04-26 4554
目录如果整合Yarn报错或无法查看log需做如下操作如果要整合YARN历史服务器和Spark历史服务器，则还需要如下操作配置历史日志服务器本地调试 如果整合Yarn报错或无法查看log需做如下操作 1.修改hadoop的yarn-site.xml vim /export/servers/hadoop/etc/hadoop/yarn-site.xml <property>...
Scala中的None,Nothing,Null,Nil
weixin_30670151的博客
06-13 527
在scala中这四个类型名称很类似，作用确实完全不同的。 None是一个object，是Option的子类型，定义如下 case object None extends Option[Nothing] { def isEmpty = true def get = throw new NoSuchElementException("None.get") } scala推...
java.util.NoSuchElementException: None.get
leidaw的博客
01-13 2416
运行scala程序时报错 1检查发现get方法发现没有取到数据。 2对数据来源用正则表达式过滤，发现取出部分为空数据 3打开源数据文档，查看源数据文件其中 不同行"/t" 和 "" 部分混淆 4重写正则表达式重新过滤数据 以后还得在使用get方法前用下判断一下数据来源是不是空 ...
java none_Spark--java.util.NoSuchElementException: None.get at at
weixin_39632293的博客
02-24 1015
有时候在编写Spark代码的时候本地调试通过但是提交到集群后无法运行，报如下错误：java.util.NoSuchElementException: None.get at at .......出现原因出现这种报错的原因是Scala中null或None的错误使用；或是对空值没有做任何处理时可能会任何语言都有一种方式来表示“空”，java中使用null来表示，在Scala中用None来表示！None...
spark needsUnsafeRowConversion java.util.NoSuchElementException: None.get
monkeyboy_tech的博客
12-29 1551
spark版本 3.0.1 在spark 中引入了一个bug，该bug的详细信息如下： None.get java.util.NoSuchElementException: None.get scala.None$.get(Option.scala:529) scala.None$.get(Option.scala:527) org.apache.spark.sql.execution.FileSourceScanExec.needsUnsafeRowConversion$lzycompute(DataSo
java 获取dataset_例外情况java.util.NoSuchElementException: 无。获取在Spark Dataset save（）操作中...
weixin_39729837的博客
02-25 300
我有个例外”java.util.NoSuchElementException: 无。获取“当我试图将 DataSet 作为拼花保存到s3存储时：例外情况：java.lang.IllegalStateException: Failed to execute CommandLineRunnerat org.springframework.boot.SpringApplication.callRunne...
Spark SQL 报错总结
weixin_33798152的博客
05-21 2368
报错一: 背景 启动spark-shell后查询hive中的表信息，报错 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.student ").show() 日志 Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hi...
Spark中IDEA Maven工程创建与配置
蔡政洁的博客
09-14 2463
目录一、IDEA Maven工程创建与配置二、开发Spark Application程序并进行本地测试三、 一、IDEA Maven工程创建与配置 二、开发Spark Application程序并进行本地测试 三、
idea里面运行maven项目，执行scala文件报错找不到或无法加载主类 xxx
最新发布
04-24
在 IntelliJ IDEA 中运行 Maven 项目时，如果执行 Scala 文件并报错提示“找不到或无法加载主类”，通常是由以下几个原因引起： #### 1. **`main` 方法未正确定义** Scala 文件中的 `main` 方法定义不正确可能导致...
java.util.NoSuchElementException: None.get的解决方法
weixin_30239339的博客
04-07 3166
在Java中用null表示无值返回。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的 笔者就常在类型转换时见到空指针错误，便是由null的特殊性导致的 而在scala中，对map类型使用get时，返回的是Option类型 Option类型 而为了进一步得到value，一般再进行一次get 于是，当对No...
scala奇怪的bug
cheng9139的博客
04-19 9072
今天在用spark的graphx写程序的时候编译器报了一个奇怪的错 Error:scalac: Error: object VolatileIntRef does not have a member create scala.reflect.internal.FatalError: object VolatileIntRef does not have a member create at
IDEA在安装Scala插件后可能出现的问题Error:scalac:Error compiling the sbt component compiler-interface-2.11.8-57.0
mxl1024的博客
03-09 6945
IDEA在安装Scala插件后可能出现的问题 运行程序出现Error:scalac: Error: Error compiling the sbt component ‘compiler-interface-2.11.8-57.0’ 注：Scala版本（2.11.8） 一个解决方法 解决方向：版本兼容 在IDEA导航栏依次点击File→Project Structure 在Project Setting的Project中选择Java版本1.8并确定配置。 程序即可运行 ...
scala运行时报错
qq_53368181的博客
12-15 1245
Terminal initialization failed; falling back to unsupported java.lang.NoClassDefFoundError: Could not initialize class scala.tools.fusesource_embedded.jansi.internal.Kernel32 at scala.tools.fusesource_embedded.jansi.internal.WindowsSupport.getConsol...
Spark SQL之空值Null,NaN判断和处理
南风知我意
07-05 7827
Spark SQL空值Null,NaN判断和处理 drop,fill,filter.coalease,replace,nullif,nvl
build scala项目时出现：org.jetbrains.jps.incremental.scala.remote.ServerException
hlp4207的博客
10-21 1476
build项目时出现：org.jetbrains.jps.incremental.scala.remote.ServerException 或者打包时出现以下情况： [INFO] Scanning for projects... [INFO] [INFO...
IDEA spark项目
03-04
### 使用 IntelliJ IDEA 配置和管理 Spark 项目 #### 创建 Maven 项目 为了在 IntelliJ IDEA 中配置 Spark 开发环境，首先需要创建一个新的 Maven 项目。通过 File -> New Project 来启动向导，在弹出窗口中选择 Maven 并点击 Next 继续。 #### 添加依赖项 编辑 `pom.xml` 文件来引入必要的库支持 Scala 和 Spark 的开发工作： ```xml <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version> </dependency> <!-- Add other dependencies as needed --> </dependencies> ``` 此操作确保了所有必需的类库被正确加载到工程环境中[^1]。 #### 设置 SDK 及编译器选项 前往 Settings (Ctrl+Alt+S)，导航至 Build, Execution, Deployment -> Compiler -> Java Compiler 或者对于 Scala 用户则是 Scala Compiler 。这里可以调整 JVM 参数以及指定使用的 JDK 版本等重要参数[^2]。 #### 初始化 Spark 上下文对象 当一切准备就绪之后就可以着手编写应用程序逻辑了。下面是一个简单的 WordCount 实现案例： ```scala package com.example.wordcount import org.apache.spark.{SparkConf, SparkContext} object SimpleApp { def main(args: Array[String]): Unit = { val logFile = "README.md" // Initialize the configuration and context objects. val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]") val sc = new SparkContext(conf) // Load data from a text file into an RDD. val lines = sc.textFile(logFile).cache() // Perform word count operation on loaded dataset. val counts = lines.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) // Collect results back to driver program. counts.collect().foreach(println) } } ``` 上述代码片段展示了如何初始化 Spark 应用程序上下文，并执行基本单词计数任务[^3]。 #### 运行调试应用 完成编码后可以通过右键单击源码中的任意位置并选择 Run 'YourClassName' 或 Debug ‘YourClassName’ 方式来进行测试运行。如果遇到任何错误提示，则按照报错信息逐步排查直至解决问题为止。 #### 处理实际业务场景下的数据处理需求 考虑这样一个例子：假设有一个名为 spark1.txt 的文件存储着一些记录条目；现在希望从中挑选含有字符'A'的数据项加以统计汇总，并最终保存结果于 dome1 文件内。那么具体实现方式如下所示： ```scala val inputPath = "/path/to/input/spark1.txt" val outputPath = "/path/to/output/dome1" // Read raw records from source location. val rawData = sc.textFile(inputPath) // Filter out entries containing letter 'A'. val filteredData = rawData.filter(_.contains('A')) // Count occurrences of each unique entry after filtering process. val resultCounts = filteredData.map((_, 1)).reduceByKey(_+_) // Save computed statistics locally or remotely depending upon requirement. resultCounts.saveAsTextFile(outputPath) ``` 这段脚本实现了从读取输入文件、过滤符合条件的内容到最后写出计算后的统计数据整个流程[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值