记一次Hive报错——NumberFormatException

已于 2022-07-19 17:52:24 修改
阅读量517 收藏
点赞数
分类专栏： 开发常见问题 大数据 文章标签： hive
于 2021-05-20 21:14:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41868309/article/details/117091859
版权
博客讲述了在使用Hive处理大数据时遇到的编号FormatException问题，原因是插入的数据量过大（50E）导致int类型溢出。解决方法是将大批次插入任务拆分为多个小批次进行，避免类型限制引发的错误。
摘要由CSDN通过智能技术生成

笔者遇到一个Hive的报错：NumberFormatException。
在这里插入图片描述

原因：一次插入数据量太大（50E），导致大数据底层某一步编译为(limit 50e)左右时出现int类型溢出，因此报错。
解决方式：拆分。

雨下一整碗儿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sqoop将Oracle数据导入Hive时出现异常 running import job: java.io.IOException: Hive exited with status 1
舒克的博客
03-30 6962
[root@node2 sqoop-1.4.6]# sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --username SKY --password 123456 --table GJJY20150613 -m 8 --hive-import Warning: /home/sqoop-1.4.6//../hcat
hive异常处理
道听途说
05-08 1229
一、异常描述 二、异常处理 三、
SparkSql读取hive-NumberFormatException:For input string:“0000001_0000“
superMario
08-07 1053
SparkSql读取hive-NumberFormatException:For input string:“0000001_0000” HDP3集群环境下，spark2.3 在使用Spark Sql操作hive表时出现异常: java.lang.NumberFormatException:For input string:“0000001_0000” 出现这个问题的原因其实是 HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据数据，准确来说是内表的数据。因
/root路径下启动hive问题RuntimeException: java.lang.NumberFormatException : For input string: "1s"
u013303361的专栏
05-03 1264
环境：hive0.13.0和Hadoop2.6具体现象：[root@master(3.100) ~]# hiveLogging initialized using configuration in file:/work/hadoop/hive/apache-hive-0.13.1-bin/conf/hive-log4j.propertiesException in thread "main" ja...
hive启动Exception
zss_89的专栏
02-22 144
2、hadoop-3.2.3（路径：hadoop\share\hadoop\common\lib）中该jar包为 guava-27.0-jre.jar；而hive-3.1.3(路径：hive/lib)中该jar包为guava-19.0.jar。1、com.google.common.base.Preconditions.checkArgument这个类所在的jar包为：guava.jar。3、将jar包变成一致的版本：删除hive中低版本jar包，将hadoop中高版本的复制到hive的lib中。
Hive报错:HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me
赵广陆
11-02 7367
启动hive的metastore或者启动hive后执行命令报错如下： FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me 原因分析： 是由于没有初始化数据库导致，执行名称初始化数据库即可。 解决办法： 执行命令：schematool -dbType mysql -initSchema 注意：我这里hive的metastore数据库为MySQL [oldlu
org.apache.hadoop.hive.ql.exec.MoveTask
一亿年开发经验
04-14 2990
背景 在测试环境使用个人账号创库创表 在对表进行insert overwrite table 操作的时候出现下面报错 Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 42 in table intelligent_customer_service_wide_dwd wi.
hive 报错 return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask.
qq_48959845的博客
03-24 2086
报错场景是这样的我创建了一个学生表student1，和学生分区表studentpar2，那么现在我要根据student1中的学生性别动态向studentpar2中加载数据， sql语句 insert into table studentpar2 partition(sex) select * from student1; 报错 字符问题，因为我在原始数据中，性别使用男女来区分，字符没有转码，所以报错，解决办法是要么，做字符解码，而我就偷懒 用1代表男生，0，代表女生。 解决问题 ...
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 from db_name.table_name_2 where id = condatition ), temp_table_2 as ( select id,col_3 from db_name.table_name_3 where id = con
hive推送数据到mysql/oracle等数据库问题
aline12的博客
11-30 2467
最近在从hive往o'racle推送数据的时候碰到一个问题 明明hive表结构中是bigint的字段 在推送到oracle表中对应的是number(18)的字段 报错 java.lang.ClassCastException: org.apache.hadoop.io.IntWritable cannot be cast to org.apache.hadoop.io.LongWritable 很奇怪 明明没有int的字段 为什么说检测到输入有int类型 最后排查出原因，是因为parquet文件中
【大数据技术】本质原因之Hive分区表插入数据报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
u011762522的博客
07-28 2611
【大数据技术】分区表插入数据报错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Except 1、分区表的分区字段内容里最好不用中文； 2、若出现上述报错，可考虑修改元数据保存格式问题，我的元数据保存在mysql里，可尝试修改mysql里Metastroe所在库的字符编码（目前正研究中） ；.........
Mysql中date_format()函数及interval关键字的用法
qq_45124566的博客
07-05 6340
Mysql中date_format()函数及interval关键字的用法
Sqoop导出Hive数据到Mysql时异常问题解决
不断努力的数据汪
09-08 1907
3. 更换导数组件，不使用sqoop，采用datax/spark/flink等。4. 添加参数 columns 字段，将导出的每张表字段进行固定。因为sqoop不再维护，因此有两种方案。
导致NumberFormatException: For input string: “***“的原因及解决办法
m0_60563637的博客
07-23 1万+
导致NumberFormatException: For input string: "***"的原因及解决办法//NumberFormatException: For input string: "1.00"//NumberFormatException: For input string: "1 "//NumberFormatException: For input string: "Unrated"
腾讯云对象存储cos获取图片像素信息
csdn565973850的博客
07-11 963
简述获取图片像素信息的几种方案
Error: java.lang.NumberFormatException: For input string: ""
热门推荐
似水流年
05-18 1万+
Error: java.lang.NumberFormatException: For input string: "" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:504) at java.lang.Integer.parseInt(Integer.java:527) at
sqoop 从 hive 导到mysql遇到的问题
huozhanfeng的专栏
08-29 2629
周海汉/文 2013.8.22 环境 hive 版本hive-0.11.0 sqoop 版本 sqoop-1.4.4.bin__hadoop-1.0.0 从hive导到mysql mysql 表： mysql> desc cps_activation; +————+————-+——+—–+———+—————-+ | Field | Type |
spark连接hive报错
最新发布
07-29
对于Spark连接Hive报错的问题，可以提供具体的报错信息吗？这样我才能更好地帮助您解决问题。通常来说，Spark连接Hive报错可能有以下几个常见原因： 1. 缺少Hive依赖：Spark需要与Hive进行交互时，需要在Spark的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值