- Scala的版本问题
- 开始用的Scala版本是2.10.4,总是报错(
org.apache.spark.sql.SparkSession
中的方法找不到),换成了2.11.8后就可以用了
- 开始用的Scala版本是2.10.4,总是报错(
- Spark版本问题
- 跟Scala中的版本问题一样,之前用的Spark的版本都是2.10的1.6.x的版本,找不到SparkSession,SparkSession好像在2.X中才有这个组件,将版本换成了2.11的2.0.0,这样就可以找到SparkSession了
- Spark中的sql组件与core组件都换成了2.11的2.0.0版本,因为SparkSession中的Builder是继承core组件中的Logging
- 创建SparkSession的问题
- Scala的版本是在创建SparkSession时遇到并解决的
- pom文件中scope写provided,会提示找不到
org.apache.spark.sql.SparkSession
这个类,换成compile既可以解决问题
- 使用SparkSession的问题
- 创建SparkSession没问题后,使用SparkSession从文件中读数据会出现问题,报如下的错误:
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:F:/workspace/dataanalysis/spark-warehouse
at org
- 创建SparkSession没问题后,使用SparkSession从文件中读数据会出现问题,报如下的错误:
使用SparkSession相关问题
博客内容涉及在使用SparkSession时遇到的Scala版本和Spark版本问题。作者起初使用Scala 2.10.4和Spark 1.6.x版本,遇到方法找不到的错误。升级到Scala 2.11.8和Spark 2.0.0后,解决了SparkSession找不到的问题。同时指出,SparkSession的Builder继承自core组件的Logging,因此需要确保所有组件版本一致。在创建SparkSession时,pom文件中scope从provided改为compile以解决找不到类的错误。然而,使用SparkSession读取文件时出现错误,解决方案是在创建SparkSession时添加特定配置。
摘要由CSDN通过智能技术生成