spark hive 运行Exception

最新推荐文章于 2023-12-29 10:16:23 发布

nickname_oo

最新推荐文章于 2023-12-29 10:16:23 发布

阅读量546

点赞数 2

分类专栏： java scala

本文链接：https://blog.csdn.net/helihongzhizhuo/article/details/76539683

版权

java 同时被 2 个专栏收录

38 篇文章 1 订阅

订阅专栏

scala

3 篇文章 0 订阅

订阅专栏

1、 Error: java.lang.UnsupportedOperationException: Not implemented by the HftpFileSystem FileSystem imp

问题原因：字面意思来看就是FileSystem的一些方法（getScheme等）没有被实现，主要原因是hadoop-hdfs的jar包冲突（调用的hadoop-hdfs的jar包没有找到该方法）

解决办法：Maven的pom.xml文件，选择“Dependency Hierarchy”，输入“Hadoop-hdfs”，查看哪些jar包引入了hadoop-hdfs-XXX.jar，以及查看这些hadoop-hdfs-xxx.jar中是否有getScheme等方法，如果没有，说明这个hadoop-hdfs-xxx.jar可能是导致冲突的包，注释之避免引起jar包冲突

ps：去掉hadoop-core

2、.apache.thrift.EncodingUtils.setBitBIZB解决办法

这是因为在同路径下安装了hive和hbase，而hbase和hive的lib目录下的thrift版本不同。hbase下的为libthrift-0.8.0.jar，hive下的为libthrift-0.9.0.jar。将hbase下的0.8.0版的删除，换为0.9.0的即可。如下：

<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase</artifactId>
  <version>0.94.14</version>
  <exclusions>
    <exclusion>
      <groupId>org.apache.thrift</groupId>
      <artifactId>libthrift</artifactId>
    </exclusion>
  </exclusions>
</dependency>