Spark命令行测试转换RDD to DataFrame报Relative path in absolute URI错误-Win7

最新推荐文章于 2024-03-14 12:44:27 发布
最新推荐文章于 2024-03-14 12:44:27 发布
阅读量3.5k 收藏
点赞数
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gangchengzhong/article/details/52539339
版权
在Spark命令行模式下进行Parquet格式操作时遇到Relative path in absolute URI错误。该错误源于hive-site.xml中${system:java.io.tmpdir}和${system:user.name}未被正确替换为绝对路径。通过在hive-site.xml配置绝对路径并确保目录存在，问题得以解决。测试用例涉及读取person.txt文件。
摘要由CSDN通过智能技术生成

无聊玩了一下Spark命令行模式的命令，测试读写Parquet格式的操作，发现执行personRDD.toDF时候报以下错误：

org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
        at org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1236)
        at org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions(Hive.java:174)
        at org.apache.hadoop.hive.ql.metadata.Hive.<clinit>(Hive.java:166)
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503)
        at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:171)
        ......

然后发现是由于一下错误引起的：

Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:C:/Users/Administrator/spark-warehouse
  at java.net.URI.checkPath(URI.java:1823)
最低0.47元/天 解锁文章
煉心_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark自定义UDF函数toDF导入报错的引用方法
peng的专栏
10-30 1817
这里自定义了一个转换大写的UDF函数，用scala建表时会出现toDF不能导入的问题，后面通过查看源码可以找知道toDF的使用方法 正确代码 import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object ScalaTest { def main(args: Array[String]): Unit = { val sparkConfig = new SparkConf().setMaster("
spark rdd无法toDF()解决
top8488.top大数据
01-12 5036
首先 toDF需要导入的包 //导入隐饰操作，否则RDD无法调用toDF方法 import sparkSession.implicits._ //（你的SparkSession类） 然后就可以todf了 如果还不行，检查你的RDD 类型对不对，是不是 RDD[样例类] 或者RDD[structType] ...
Spark2.0异常:java.net.URISyntaxException: Relative path in absolute URI
chenxiao_ji的专栏
09-13 3214
问题： 在Intellij IDEA中构建Spark独立应用，使用Spark2.0。需要生成spark上下文，代码如下： SparkConf conf = new SparkConf().setMaster("local").setAppName("modelPredict"); SparkContext sc = new SparkContext(conf);使用Spark1.6.1时，这样
hadoop集群运行模式需要注意的几点
fengge18306的博客
03-21 502
以上文单词计数为例，要将上文的本地运行模式改为集群运行模式，只需要如下三步： （1）第一步：将程序更改输入和输出的路径 （2）第二步：打jar包 将jar包上传到任意一台的linux上面去 （3）第三步：运行jar包 yarn jar xxxx.jar 类完全路径input路径 output路径 第一步：将程序更改输入和输出的路径 将run方法中的本地运行模式的代码改为如下：...
hive1.2.2启动出现Relative path in absolute URI:错误
xiaozhuangyumaotao的博客
05-10 699
在hadoop正常启动，hive也配置好了的情况下，使用命令./hive 启动hive的时候抛出如下错误 Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
spark: RDD与DataFrame之间的相互转换方法
01-20
DataFrame是一个组织成命名列的数据集。它在概念上等同于关系数据库中的表或R/Python中的数据框架，但其经过了优化。DataFrames可以从各种各样的源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。 ...
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
包括spara rdd api，dataframe action操作、查询操作、join操作，dataframe rdd dataset 相互转换以及spark sql。
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结
08-27
Java 和 Scala 实现 Spark RDD 转换成 DataFrame 的两种方法小结 在本文中，我们将讨论如何使用 Java 和 Scala 将 Spark RDD 转换成 DataFrame，並且介绍两种实现方法。 准备数据源 在项目下新建一个 student.txt...
Spark创建RDD、DataFrame各种情况的默认分区数
01-27
熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些...
完美解决 Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/
zhangjunli的博客
03-30 4221
windows下使用intellij 开发 spark mllib 程序 发现如下错误。 var spark=SparkSession.builder().master("local").appName("test").getOrCreate() 运行时报错： 6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\de...
spark 2.0 遇到java.net.URISyntaxException: Relative path in absolute URI
yanlixin_2015的博客
10-26 1943
spark-warehouse 默认设置到tomcat的bin目录下，用来存储Hive等数据源的元数据 因此需要设置spark.sql.warehouse.dir这个属性 后面这个地址可以随意设置 报错截图：
hive启动时报Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D解决办法
wzq6578702的专栏
04-22 2033
hive启动时遇到以下错误：Exception in thread “main”java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:{system:java.io.tmpdir%7D/{system:java.
Hive3.0.0 启动报错Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
最新发布
qq_37647812的博客
03-14 441
hive3.0.0安装部署过程中问题及解决方法
java.net.URISyntaxException: Relative path in absolute URI: file:**/spark-warehouse
qq_44735442的博客
10-05 563
最近学习Spark，尝试连接数据库的时候一个例子一直报一个错，说是Spark-warehouse路径有问题（都不知道Spark-warehouse这玩意儿是啥） 一开始main下的代码是这样的 val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("readFrom_toMySQL") val sc: SparkContext = new SparkContext(sparkConf) 报错java.
idea配置hadoop开发环境以及遇到的问题-java.net.URISyntaxException: Relative path in absolute URI
qi1399的博客
04-22 3347
前言: 公司要搞一个大数据项目,做之前先让我搭建三个节点hadoop+hive做技术预研.搭建好之后,想试试mapreduce程序能不能跑得起来,一直以来开发工具用的都是eclipse,但现在的同事都习惯用idea,我试着用了之后立刻就喜欢上了.就决定配置idea的hadoop开发环境. 注意: idea的hadoop项目采用的maven管理,mapreduce程序运行在windows环境也即本地...
Caused by: java.net.URISyntaxException: Relative path in absolute URI
weixin_30843605的博客
06-01 754
<property> <name>hive.exec.scratchdir</name> <value>/tmp/hive</value> <description>HDFS root scratch dir for Hive jobs which gets created with write all (7...
Spark2.0的Caused by: java.net.URISyntaxException: Relative path in absolute URI: file错误
BrotherDong90的专栏
09-21 4060
在使用spark2.0的时候遇到如下错误： 16/09/21 14:12:22 INFO SharedState: Warehouse path is 'file:E:\scalacode_v2\Spark2Pro/spark-warehouse'. Exception in thread "main" java.lang.IllegalArgumentException: java.net.
Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/SparkFaultBench/spark-
weixin_40583191的博客
07-26 417
错误： Spark：java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/SparkFaultBench/spark-warehouse 我产生这种错误的原因是，在本地使用idea进行测试sparksql，结果运行main方法出现这个错误。 解决办法： 在conf中设置 参数： conf.set("spark.sql.warehouse.dir","file:///") 解决了上述问题。 ...
在spark-shell中，测试RDD/DataFrame/DataSet互相转换。
05-24
好的，下面我将演示如何在spark-shell中测试RDD/DataFrame/DataSet之间的相互转换。 首先，我们需要启动spark-shell。假设我们已经启动了spark-shell并连接到了Spark集群。 接下来，我们将创建一个简单的RDD，其中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值