hive集成hudi表,count查询报错

报错

Ended Job = job_1686208897577_0002 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1686208897577_0002_m_000000 (and more) from job job_1686208897577_0002

Task with the most failures(4): 
-----
Task ID:
  task_1686208897577_0002_m_000000

URL:
  http://hudi01:8088/taskdetails.jsp?jobid=job_1686208897577_0002&tipid=task_1686208897577_0002_m_000000
-----
Diagnostic Messages for this Task:
Error: java.io.IOException: cannot find class org.apache.hudi.hadoop.HoodieParquetInputFormat
	at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:673)
	at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:169)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:432)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)


FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1  Reduce: 1   HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec

解决方案

hive lib目录同级目录下创建auxlib,并将包放入此目录后 重启Hive
必须要auxlib目录
将hudi 对应包hudi-hadoop-mr-bundle-0.9.0.jar放入lib以及auxlib目录下并重启hive
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HudiHive集成可以通过将Hudi的数据映射为Hive外部来实现。这样,Hive就可以方便地对Hudi进行实时视图、读优化视图和增量查询。具体的步骤如下: 1. 首先,需要创建一个Hudi目录,并指定Hive的配置文件路径。可以使用以下代码创建目录: ``` CREATE CATALOG hive_catalog WITH ( 'type' = 'hive', 'default-database' = 'default', 'hive-conf-dir' = '/home/apache-hive-3.1.2-bin/conf' ); ``` 2. 进入Hudi目录并选择要使用的数据库。可以使用以下代码进入目录和选择数据库: ``` USE CATALOG hive_catalog; use test; ``` 3. 创建Hudi,并指定Hudi的连接器类型、数据路径、类型等信息。可以使用以下代码创建: ``` create table t_catalog_cow2 ( id int primary key, num int, ts int ) partitioned by (num) with ( 'connector' = 'hudi', 'path' = 'hdfs://hp5:8020/user/hive/warehouse/test.db/t_catalog_cow2', 'table.type' = 'COPY_ON_WRITE', 'hive_sync.enable' = 'true', 'hive_sync.table' = 't_catalog_cow2', 'hive_sync.db' = 'test', 'hive_sync.mode' = 'hms', 'hive_sync.metastore.uris' = 'thrift://hp5:9083', 'hive_sync.conf.dir'='/home/apache-hive-3.1.2-bin/conf' ); ``` 4. 最后,可以向Hudi中插入数据。可以使用以下代码插入数据: ``` insert into t_catalog_cow2 values (1,1,1); ``` 以上是HudiHive集成的一般步骤,通过这种方式,可以在Hive中方便地对Hudi进行查询和操作。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [Hudi系列13:Hudi集成Hive](https://blog.csdn.net/u010520724/article/details/128850750)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值