hive查询s3外部表报java.lang.NoClassDefFoundError错误解决

hive创建s3的外部表,进入hive命令行查询的时候没有问题,使用远程连接提交查询报错:
Error: java.lang.NoClassDefFoundError: com/amazonaws/services/s3/model/MultiObjectDeleteException (state=,code=0)
原因是hadoop少了aws-java-sdk-bundle这个ja包
解决如下:

cp /opt/moudle/hadoop-3.2.3/shrare/tools/lib/aws-java-sdk-bundle-1.11.901.jar /opt/moudle/hadoop-3.2.3/share/hadoop/common/lib/
cp /opt/moudle/hadoop-3.2.3/shrare/tools/lib/hadoop-aws-3.2.3.jar /opt/moudle/hadoop-3.2.3/share/hadoop/common/lib/
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在你的问题中,你提到了一个错误java.lang.UnsupportedOperationException。根据引用中的信息,这个错误是由于使用了不支持的操作引起的。同时,引用提到,这个错误可能是由于Hive表字段的数据类型与Parquet存储的数据类型不匹配导致的。在引用中,还提到了可能是因为数组类型的字段导致的错误。 为了解决这个问题,你可以先检查Hive表的字段类型是否与Parquet文件存储的数据类型匹配。确保使用正确的数据类型创建Hive表。如果Parquet文件中的数据类型为long,那么可以尝试将Hive表的对应字段类型改为bigint。 此外,你还可以使用parquet-tool工具来查看Parquet文件的schema,确保你使用的数据类型与实际数据类型一致。 综上所述,解决这个问题的步骤包括: 1. 检查Hive表字段的数据类型是否与Parquet文件存储的数据类型匹配。 2. 使用正确的数据类型创建Hive表,确保与Parquet文件中的数据类型一致。 3. 使用parquet-tool工具查看Parquet文件的schema,确保数据类型正确。 希望这些信息对解决你的问题有所帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [解决hive localtion parquet文件创建外部表报错Cannot inspect org.apache.hadoop.io.ArrayWritable](https://blog.csdn.net/qq_37135484/article/details/124697844)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Hive parquet 表查询报错](https://blog.csdn.net/jobschen/article/details/77946628)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值