Spark2.0异常:java.net.URISyntaxException: Relative path in absolute URI

最新推荐文章于 2023-06-20 14:35:38 发布
最新推荐文章于 2023-06-20 14:35:38 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： Java Spark 文章标签： spark2.0 异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenxiao_ji/article/details/52527159
版权
本文档详细介绍了在使用Spark2.0时遇到的`java.net.URISyntaxException`异常，该异常通常与绝对URI中的相对路径有关。我们将深入探讨问题的原因，并提供有效的解决方案。
摘要由CSDN通过智能技术生成

问题：

在Intellij IDEA中构建Spark独立应用，使用Spark2.0。需要生成spark上下文，代码如下： 
SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict");
SparkContext sc = new SparkContext(conf);
使用Spark1.6.1时，这样写是不报错的，换成Spark2.0以后报错如下： 
Caused by: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:D:/Program%20Files/server/apache-tomcat-7.0.68/bin/spark-warehouse
	at org.apache.hadoop.fs.Path.initialize(Path.java:206) ~[hadoop-common-2.2.0.jar:na]
	at org.apache.hadoop.fs.Path.<init>(Path.java:172) ~[hadoop-common-2.2.0.jar:na]
	at org.apache.spark.sql.catalyst.catalog.SessionCatalog.makeQualifiedPath(SessionCatalog.scala:114) ~[spa
最低0.47元/天 解锁文章
纪辰晓
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark命令行测试转换RDD to DataFrame报Relative path in absolute URI错误-Win7
煉心的博客
09-14 3608
无聊玩了一下Spark命令行模式的命令，测试读写Parquet格式的操作，发现执行personRDD.toDF时候报以下错误： org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadat
java.net.URISyntaxException: Relative path in absolute URI
huobanjishijian的专栏
09-19 4002
 I was able to do some digging around in the latest Spark documentation, and I notice they have a new configuration setting that I hadn't noticed before: spark.sql.warehouse.dir
完美解决 Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/
zhangjunli的博客
03-30 4318
windows下使用intellij 开发 spark mllib 程序 发现如下错误。 var spark=SparkSession.builder().master("local").appName("test").getOrCreate() 运行时报错： 6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\de...
java.net.URISyntaxException: Relative path in absolute URI:
订书钉qq的博客
06-20 1072
同时说明了通过在本地添加jar再以相对路径引入pom这种方式的配置是没有问题的。
hive配置遇到的问题（ Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D）
热门推荐
01-16 3万+
遇到的异常详情如下： Exception in thread "main"java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:
使用idea编辑sparkSql的程序运行出现java.lang.IllegalArgumentException: java.net.URISyntaxException
w3045872817的博客
10-25 4214
这个是具体错误：Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:D:/idea/work/sparkTest/spark-warehouse at org.apache.hadoop.f
Hive2.1：Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException:
swing2008的专栏
11-25 3226
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D     at org.apache.hadoop.
hive on spark 出现的FAILED: IllegalArgumentException java.net.URISyntaxException问题
qq_15508167的博客
06-07 2881
今天在整合hive on spark的时候，出现一个小的问题，进行命令：show databases或者show tables时出现如下问题，FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: file:./$/root/hive/tmp/root/ed57815b...
Spark代码调试遇到的错误Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:
charKim的博客
08-28 7211
其实关键就在这一句： Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:E:/spark/GPSline/spark-warehouse 事实上我的本地并没有这个文件夹，所以就需要添加一个配置spark.sql.warehouse.dir，如果不添加上该配置，默认是找的user.dir下面的目录。 val spark = SparkSession.builder().appNa
Spark2.0的Caused by: java.net.URISyntaxException: Relative path in absolute URI: file错误
BrotherDong90的专栏
09-21 4075
在使用spark2.0的时候遇到如下错误： 16/09/21 14:12:22 INFO SharedState: Warehouse path is 'file:E:\scalacode_v2\Spark2Pro/spark-warehouse'. Exception in thread "main" java.lang.IllegalArgumentException: java.net.
Caused by: java.net.URISyntaxException: Relative path in absolute URI
weixin_30843605的博客
06-01 759
<property> <name>hive.exec.scratchdir</name> <value>/tmp/hive</value> <description>HDFS root scratch dir for Hive jobs which gets created with write all (7...
spark 2.0 遇到java.net.URISyntaxException: Relative path in absolute URI
yanlixin_2015的博客
10-26 1950
spark-warehouse 默认设置到tomcat的bin目录下，用来存储Hive等数据源的元数据 因此需要设置spark.sql.warehouse.dir这个属性 后面这个地址可以随意设置 报错截图：
Hive 启动异常： java.net.URISyntaxException: Relative path in absolute URI:
好读书，每有会意，便欣然忘食。
10-15 6297
Logging initialized using configuration in jar:file:/wls/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.Illega
java.net.URISyntaxException: Relative path in absolute URI: file:**/spark-warehouse
qq_44735442的博客
10-05 588
最近学习Spark，尝试连接数据库的时候一个例子一直报一个错，说是Spark-warehouse路径有问题（都不知道Spark-warehouse这玩意儿是啥） 一开始main下的代码是这样的 val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("readFrom_toMySQL") val sc: SparkContext = new SparkContext(sparkConf) 报错java.
HBase报错解决【Caused by java.net.URISyntaxException Relative path in absolute URI rsrchbase-common-1.0.0
NeverGiveup54的专栏
03-14 2947
1问题标题：运行hadoop jar t1.jar操作，hbase数据库报错： Caused by: java.net.URISyntaxException:Relative path in absolute URI: rsrc:hbase-common-1.0.0-cdh5.5.0.jar 这个问题好苦恼的，好好的jar不能运行。到底是哪里出问题了，很奇怪！！   2前置条件： had
一零一零、java.net.URISyntaxException: Relative path in absolute URI: file:E:/testspark/spark-warehouse
06-20 735
Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:E:/testspark/spark-warehouse at java.net.URI.checkPath(URI.java:1822) at java.net.URI.(URI.java:745) at org.apache.hadoop.fs.Path.initialize(Path.java:203) ... 17 more
Hive启动时，遇到java.net.URISyntaxException: Relative path in absolute URI
发展是曲折的但也是前进的
07-23 3944
异常详情如下： Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: master:9000
最新发布
08-05
回答: 这个报错信息显示了一个路径写法不正确的问题。具体的错误信息是java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir}/${system:user.name}。根据官方文档，这种写法是让Java程序通过System类来读取这些配置项，比如System.getProperty("java.io.tmpdir")。解决这个问题的方法是将配置文件中的${system:java.io.tmpdir}中的system:去掉，改为${java.io.tmpdir}，这样Java程序就可以直接读取${java.io.tmpdir}了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值