使用SparkSession相关问题

hss_zl

于 2016-12-05 10:53:50 发布

阅读量1w

点赞数 2

分类专栏： Spark

本文链接：https://blog.csdn.net/hsz_zl/article/details/53463188

版权

博客内容涉及在使用SparkSession时遇到的Scala版本和Spark版本问题。作者起初使用Scala 2.10.4和Spark 1.6.x版本，遇到方法找不到的错误。升级到Scala 2.11.8和Spark 2.0.0后，解决了SparkSession找不到的问题。同时指出，SparkSession的Builder继承自core组件的Logging，因此需要确保所有组件版本一致。在创建SparkSession时，pom文件中scope从provided改为compile以解决找不到类的错误。然而，使用SparkSession读取文件时出现错误，解决方案是在创建SparkSession时添加特定配置。

摘要由CSDN通过智能技术生成

                    
                    Scala的版本问题 
 
  开始用的Scala版本是2.10.4，总是报错（org.apache.spark.sql.SparkSession中的方法找不到），换成了2.11.8后就可以用了
Spark版本问题 
 
  跟Scala中的版本问题一样，之前用的Spark的版本都是2.10的1.6.x的版本，找不到SparkSession，SparkSession好像在2.X中才有这个组件，将版本换成了2.11的2.0.0，这样就可以找到SparkSession了
Spark中的sql组件与core组件都换成了2.11的2.0.0版本，因为SparkSession中的Builder是继承core组件中的Logging
创建SparkSession的问题 
 
  Scala的版本是在创建SparkSession时遇到并解决的
pom文件中scope写provided，会提示找不到org.apache.spark.sql.SparkSession这个类，换成compile既可以解决问题
使用SparkSession的问题 
 
  创建SparkSession没问题后，使用SparkSession从文件中读数据会出现问题，报如下的错误： 
  
 Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:F:/workspace/dataanalysis/spark-warehouse 
 at org