hive数据导入es外表，报错java.lang.IndexOutOfBoundsException:Index:74,Size:74

最新推荐文章于 2023-05-25 14:41:00 发布
最新推荐文章于 2023-05-25 14:41:00 发布
阅读量822 收藏
点赞数
分类专栏： MR 文章标签： hive elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/magicchu/article/details/126483274
版权

背景：

项目使用hive-es外表的方式，将hive表中的数据同步到ES中。因为项目需要，将hive表改为分区表，对应在insert脚本中加入限定分区条件，只读取当天分区数据并写入ES。因为其他业务字段没有更改，所以外表表结构没有修改。

现象：

执行insert脚本，任务报错java.lang.IndexOutOfBoundsException:Index:74,Size:74
在这里插入图片描述

解决办法

将外表增加分区字段，insert时在select语句中加入分区字段，问题解决。

magicchu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES-HIVE数据互通
12-27
实现elasticsearch与hive数据互通 环境 实验性单节点集群 vagrant.linux16.4.4(无doctor) hive2.3.3+beeline es6.2.2 kibana6.2.2 elasticsearch-hadoop-6.2.2.jar 没有doctor
用jest客户端将数据从hive导入elasticsearch
05-19
1、jest使用示例 2、java通过Jdbc连接hive 3、将hive数据导入到elasticsearch
Error解决：hive中的数组越界异常IndexOutOfBoundsException
小平子的专栏
12-12 7905
在spark中执行sql语句有时会出现IndexOutOfBoundsException的错误，如下： File "/opt/cloudera/parcels/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101/lib/spark2/python/lib/pyspark.zip/pyspark/sql/session.py", line 708, in sql...
hive导入数据到es
yinxiaoyi的专栏
10-09 981
HIVE数据导入ES
HIVE数据导入ES并避免字段空值占用空间
zcb_data的博客
07-20 1601
详细介绍hive数据导入es的两种不同方案
hive执行sql异常 ------ java.lang.ArrayIndexOutOfBoundsException: 28
wflh323的专栏
02-24 5211
用户在集群上执行sql报如下异常： 2018-06-06 16:01:29,176 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive ...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
java.net.SocketException: Connection reset 解决方法
09-05
最近纠结致死的一个java报错java.net.SocketException: Connection reset 终于得到解决
启动tomcat时 错误: 代理抛出异常 : java.rmi.server.ExportException: Port already in use: 1099的解决办法
01-10
　错误: 代理抛出异常错误: java.rmi.server.ExportException: Port already in use: 1099; nested exception is: java.net.BindException: Address already in use: JVM_Bind 　这里说的是1099端口被其它进程占用...
同步数据Hive到ES-支持复杂类型：.doc
最新发布
03-05
同步数据Hive到ES-支持复杂类型：
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
关于hive报错java.lang.IndexOutOfBoundsException
u013176920的博客
01-10 846
我理解您这边在执行一个简单query的时候遇到了数组越界的问题。 hive (zba_dwa)> select * from mid_dwa_v_d_cus_al_rns_encap_test where part_id=0 and day_id=28 and prov_id=011 limit 15; OK Failed with exception java.io.IOExcept...
项目实战——将Hive表的数据直接导入ElasticSearch
LXWalaz1s1s的博客
08-18 4432
背 景   应业务需求，要实现针对某产品的挑选搜索功能，决定采用ElasticSearch（以下简称ES）作为后端搜索引擎服务，然后将符合条件的结果在ES搜索出来反馈给前端展示，但是我的基础数据都是存在数据仓库的Hive表内，这就面临一个问题，如何将Hive表的数据直接导入到ES内；   查阅官网，确定这个步骤想法的可行性,官网的例子相对简单，没涉及到复杂数据类型以及嵌套结构，我也是结合官网例子，再根据ES的特性和走了很多弯路才成功了，最后直接单纯用SQL语句就搞定了，没有写任何Java/python代码就
【ElasticSearch】 Hive数据导入到 es 的 项目 FastIndex
九师兄
06-20 220
1.概述 https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247500894&idx=2&sn=75fc7035e8cf387ff74d06da787188e0
Java.lang.IndexOutofBoundsException:Invaild array range:0 to 0 问题解决
qq_46119575的博客
05-25 1481
在开发的时候遇到 Java.lang.IndexOutofBoundsException:Invaild array range:0 to 0 的报错，本文主要介绍了问题出现的原因以及解决办法。
JList/DefaultListModel持续Insert和Remove数据产生ArrayIndexOutOfBoundsException的问题
DADADIE的专栏
01-16 1494
转自：http://blog.csdn.net/swingline/article/details/5496008 有这样一个需求：往一个JList中持续Insert数据，当JList中的数据量大于某个值时(比如大于5行)，就开始删除数据，使得JList中的数据量一直为固定值(如5行)，下面是测试代码： [java] view plaincopy
快速学习-Mycat 的分片数据插入报异常 IndexOutofBoundException
逍遥云恋
02-20 2173
Mycat 的分片数据插入报异常 IndexOutofBoundException 答：在一些配置了分片策略的表进行数据插入时报错，常见的报错信息如下： java.lang.IndexOutOfBoundsException:Index:4,size:3 这类报错通常由于分片策略配置不对引起，请仔细检查并理解分片策略的配置，例如：使用固定分片 hash 算法，PartitionByLong 策略，如果 schema.xml 里面设置的分片数量 dataNode 和 rule.xml 配置的 partitio
@Insert报错明明一模一样的两句话却字符串索引超出范围17
m0_46106931的博客
03-31 597
不知道为啥Caused by: java.lang.StringIndexOutOfBoundsException: String index out of range: 17；Caused by: org.apache.ibatis.builder.BuilderException: Parsing error was found in mapping #{name),#{password}. Check syntax #{property|(expression), var1=value1, var2
执行Hive报Caused by: java.io.IOException: Unable to rename异常
youhaitao_do的博客
12-04 2791
1、问题描述： Caused by:java.io.IOException: Unable to renameobs://bigdatahll/warehouse/tablespace/hive/hll_dwb.db/dwb_driver_order_loc_in_dtl/dt=2020-11-09/.hive-staging_hive_2020-11-10_02-36-19_364_6573414509666215386-15624/_task_tmp.-ext-10000/_tmp.000007..
加载数据库数据到hive 报错 java.lang.NullPointerException
11-09
加载数据库数据到Hive时，如果出现java.lang.NullPointerException错误，通常是由于以下原因之一导致的： 1. 数据库连接问题：请确保数据库连接正确，并且数据库中的表存在且可用。 2. 数据类型不匹配：请确保数据库...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值