大数据
HDFS、Hadoop、HBase
极光稻草人
你要默默成长,然后惊艳所有人
展开
-
错误记录:Error:scalac: bad constant pool index: 318 at pos: 2716
Error:scalac: bad constant pool index: 318 at pos: 2716 while compiling: F:\code\Java_code\StudyCode\ScalaLab2\src\test\scala\cn\edu\swpu\scs\MySpec.scala during phase: globalPhase=typer, enteringPhase=namer library version: version 2.原创 2020-10-28 19:52:13 · 2439 阅读 · 5 评论 -
Spark打包成jar在shell能成功,但以spark-submit却运行失败
有的错误确实很莫名其妙2020-10-28 15:13:21,199 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); groups with view permissions: Set(); users with modify permissions: Set(root); groups with原创 2020-10-28 15:58:22 · 1557 阅读 · 1 评论 -
IDEA打包Spark程序为jar包,并运行
1、编辑需要运行的spark代码最好是在linux环境的spark-shell,测试成功package cn.edu.swpu.scsimport org.apache.spark.{SparkConf, SparkContext}object App { def main(args: Array[String]){ val sparkConf = new SparkConf() val sc = new SparkContext(sparkConf) val原创 2020-10-27 21:44:32 · 4672 阅读 · 3 评论 -
Spark-shell中能正确运行运行函数,在IDEA中build却显示无法value toDF is not a member of org.apache.spark.rdd.RDD
错误如图:显示toDouble不是String类型的方法,但Scala的字符串确实是存在这个方法的,并且我在linux的spark-shell中是成功运行的。谷歌搜索需要import什么包,尝试了但是并没有解决问题。于是我在想是不是maven仓库的问题,最后Reimport All maven project,再次编译问题消失。所以有问题可以尝试:Reimport All maven project太奇怪了,卡了这么久久突然解决了...原创 2020-10-27 19:23:22 · 574 阅读 · 0 评论