错误的代码
def main(args: Array[String]): Unit = {
SparkSession.builder()
.appName("Test DF")
.config("config.option", "some-value")
.master("local[4]")
.getOrCreate()
//import implicit DF,DS
import spark.implicits._ //这里的spark出现了红色,无法导入
}
解决方法:给SparkSession.builder一个对应的变量值,这个变量值是spark。因为在spark-shell端,这个spark变量就是指的SparkSession,所以使用的时候,可以直接导入,没有提示错误。
这里的spark不是某个包下面的东西,而是我们SparkSession.builder()对应的变量值,下面是正确的写法
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("Test DF")
.config("config.option", "some-value")
.master("local[4]")
.getOrCreate()
//import implicit DF,DS
import spark.implicits._ //这里的spark就可以正常使用
}