SparkSQL写Hive语句时报错:org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/

在用Spark写Hive语句时,出现以下错误:

  

原因:

是 hadoop.dll 文件版本的问题。Hadoop在访问本地文件和HDFS文件系统时,需要使用本地库,本地库中使用了Windows的API来实现类posix的文件访问许可,而这个本地库的实现就是hadoop.dll和winutils.exe。由于是本地Windows安装启动的Hadoop,故需要hadoop.dll文件,Hadoop版本是3.2.2的,但是hadoop.dll文件版本对不上。

解决:

将hadoop安装文件中的bin文件里的hadoop.dll 和 winutils.exe 这两个文件替换为对应版本即可。

Hadoop不同版本 hadoop.dll 和 winutils.exe 下载地址:

下载地址

java.lang.ClassNotFoundException是Java编程中的一个异常类,它表示无法找到指定的类。在你提供的问题中,异常的完整名称是java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.io.parquet.mapreduce.ParquetInputFormat。 这个异常通常发生在Java程序中使用HadoopHive进行数据处理。它的出现意味着Java虚拟机(JVM)无法加载指定的类。 主要原因可能有以下几种情况: 1. 缺少相关的依赖库:在使用Hive和Parquet进行数据处理,需要正确配置和引入相关的依赖库。如果依赖库缺失或版本不匹配,就可能导致ClassNotFoundException的异常。解决方法是确保所有的依赖库都被正确引入,并且版本相互兼容。 2. 类路径配置错误:JVM在运行Java程序会在类路径中查找需要的类。如果类路径没有正确配置,就无法找到目标类,也会触发ClassNotFoundException。检查类路径配置,确保包含了正确的依赖库和类路径。 3. 类名拼错误:有候,类名可能被错误地拼,导致JVM无法找到目标类。在这种情况下,只需检查并修正类名的拼错误即可。 综上所述,java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.io.parquet.mapreduce.ParquetInputFormat是一个Java类加载异常,常见于使用HadoopHive进行数据处理。解决这个问题的关键是检查依赖库的引入、类路径的配置和类名的拼,确保所有配置正确无误。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值