IDEA创建SparkSQL程序报错
我的代码:
package spark.sparksql
import org.apache.spark.sql.SparkSession
object SparkSql {
def main(args: Array[String]): Unit = {
//创建sparkconf
val spark = SparkSession.builder().appName("Spark Sql lm")
.config("spark.some.config.option", "some-value").master("local[1]")
.getOrCreate()
import spark.implicits._
val df = spark.read.json("examplesc/main/resources/people.json")
df.show()
df.filter($"age" > 21).show()
df.createOrReplaceTempView("persons")
spark.sql("SELECT * FROM persons where age > 21").show()
spark.stop()
}
}
报错如下:
错误分析:maven升级的时候,没有自动加载完整依赖包
解决办法:
val df = spark.read
.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
.json("examples/src/main/resources/people.json")
添加 .option(“timestampFormat”, “yyyy/MM/dd HH:mm:ss ZZ”)
运行程序,结果如下:
成功解决。。