Spark的spark.sql.warehouse.dir问题

最新推荐文章于 2023-03-17 13:08:18 发布

qq_14961401

最新推荐文章于 2023-03-17 13:08:18 发布

阅读量1.3w

点赞数 1

分类专栏： Spark MLib NaiveByesExample

本文链接：https://blog.csdn.net/qq_14961401/article/details/52846836

版权

在运行Spark的NaiveBayesExample时遇到一个关于Spark-warehouse的错误，原因是Spark SQL尝试访问不存在的目录。通过设置`spark.sql.warehouse.dir`属性，将路径指向Spark安装目录，解决了该问题。

摘要由CSDN通过智能技术生成

最近学习Spark的MLib，做到NaiveByesExample例子一直报一个错，说是Spark-warehouse路径有问题（都不知道Spark-warehouse这玩意儿是啥）

一开始main下的代码是这样的

def main(args: Array[String]): Unit = {
  System.setProperty("hadoop.home.dir","D:\\hadoop\\hadoop-2.5.2");
  
  Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
  Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)

val conf = new SparkConf().setAppName("NaiveBayesExample").setMaster("local[2]")
val sc = new SparkContext(conf)

报错情况如下：

Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:F:/spark培训/sparkML1/spark-warehouse
at org.apache.hadoop.fs.Path.initialize(Path.java:206)
at

最低0.47元/天解锁文章

qq_14961401

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Spark的spark.sql.warehouse.dir问题

最近学习Spark的MLib，做到NaiveByesExample例子一直报一个错，说是Spark-warehouse路径有问题（都不知道Spark-warehouse这玩意儿是啥）一开始main下的代码是这样的def main(args: Array[String]): Unit = { System.setProperty("hadoop.home.dir","D:\\hado
复制链接

扫一扫

专栏目录