使用idea编译Scala的时候通常会使用使用spark的插件包,例如
import org.apache.spark.sql.{DataFrame, Row, SparkSession}
import org.apache.spark
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._
import org.apache.spark.SparkConf
import org.apache.log4j.{Level,Logger}
import org.apache.spark.mllib.stat.Statistics
import scala.collection.mutable.ArrayBuffer
如果有包爆红,说是没有安装依赖,可以在配置sbt的时候进行下载对应的包。
如果安装的是idea的话参考我的文章,里面详细写了如何添加依赖和更新sbt配置,也包括镜像源的配置,链接失效可以进我主页,名字是“使用idea省心又省力地配置sbt,编译Scala代码”
解决配置问题https://blog.csdn.net/qq_52315804/article/details/132933899?spm=1001.2014.3001.5501
如果安装的不是idea,那就很麻烦了,需要自己去sbt对应位置下配置自己需要的spark包,思路是这样,没亲自配过,大佬做了欢迎留言链接:)