hive 导入excel后，impala 查询报错：ERROR converting column: to DECIMAL(30,18)

已于 2023-01-10 14:19:36 修改
阅读量449 收藏
点赞数
文章标签： hive hadoop 数据仓库
于 2023-01-10 14:18:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/b2001926/article/details/128629322
版权

RT,导入的文本删掉第一行列名行，实测第一行（string）作为数据（部分列要求为DECIMAL）导入，因此报错。

同时如果hive查询则值全为NULL。

删除后报错解除。

或许也有建表skip的思路，留帖日后观察。

丁凯业业
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Impala和Hive的关系（详解）
01-27
Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。Impala与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客户端使用来看Impala与Hive有很多的共同之处，如数据表元数 据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等。Impala与Hive在Hadoop中的关系如下图所示
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130465139 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。 本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。） 本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。 由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第一篇。 本文接1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二），比较的具体数据在第二篇。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0
hadoop记录篇10-数据仓库查询组件impala
weixin_30354675的博客
04-25 294
一。impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），...
impala查询报错之MAX_ROW_SIZE
cclovezbf的博客
07-10 1504
max_row_size 报错原因，具体分析，实战演练，官网学习
impala 不可轻易更换列类型
老农民挖数据
10-11 4363
1.建表 [slave01:21000] > use tmp; Query: use tmp [slave01:21000] > create table ml_2(a int ,b double,c varchar(10)); Query: create table ml_2(a int ,b double,c varchar(10)) Fetched 0 row(s) in 0.17s [
Impala 查询创建表报错:Error converting column: 0 to BIGINT
善皮之的博客
01-07 3198
Impala数据报错 Error converting column: 0 to BIGINT Error parsing row: file: hdfs://nameservice1/user/hive/warehouse//f24a1e0841d83114-b564012900000000_742834691_data.0., before offset: 8388608
Kudu异常总结
shengpli′s blog
09-06 1590
1、impala不支持kudu表的关键字：PARTITIONED - LOCATION - ROWFORMAT（官方链接：Impala Keywords Not Supported for Kudu Tables），例如执行如下语句会报错： CREATE TABLE my_first_table2 ( id BIGINT, name STRING, PRIMARY KEY(id) ) ...
Type Conversion（类型转换）
SeriousLose
01-19 1297
目录一、强制类型转换 和 隐式类型转换二、强制类型转换三、隐式类型转换 一、强制类型转换 和 隐式类型转换 '123' == 123; // true '' == null; // false '' == 0; // true [] == 0; // true [] == ''; // true [] == []; // false [] == ![]; // true [] -> 0 ; ![] -> false -> 0 null == undefin
Mysql之SQL操作和数据类型
贾维斯的博客
08-02 340
Mysql之SQL操作和数据类型 【SQL分类：DDL DML DCL】 一、DDL（数据库定义语言） 定义不同的数据段、数据库、表、列、索引等数据库对象，常用语句关键字：create drop alter等 1、修改表字段，alter table语句的用法如下   1）修改表字段的数据类型：alter table table_name modify…  2）新增表字段：alter t...
Hive Beeline连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default
01-20
问题 解决方案 在hadoop的配置文件core-site.xml增加如下配置： hadoop.proxyuser.hc.hosts * hadoop.proxyuser.hc.groups * 其中“hc”是连接beeline的用户。...重启hdfs：先stop-all.sh，再start-all.sh，否则...
hive on tez 常见报错问题收集
01-26
1）Failing because I am unlikely to write too. 2）Caused by: java.lang.OutOfMemoryError: Java heap space 3）Current usage: 1.0 GB of 1 GB physical memory used;2.7 GB of 2.1 GB virtual memory used. ...
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
05-29
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130465463 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，...
impala/hbase功能测试笔记及hbase，hive新特性
colossus——bigdata的专栏
05-27 1703
1.impala性能测试： 创建指定大小的cache hdfs cacheadmin -addPool impala_pool -owner impala -limit 20000000000 把表加入cache中 alter table ym_impala_with_cache set cached in 'impala_pool'; 查看表cache状态 show table st...
MySQL隐式类型准换导致数据不一致
雪辉博客
05-31 462
1.1 问题描述   一条表关联SQL导致，执行效率较差。发现原因关联字段数据类型不一致导致隐式类型转换，索引失效。使用cast转换后发现查询结果发生改变。 表结构 ###t1### CREATE TABLE `t1` ( `id` bigint unsigned NOT NULL AUTO_INCREMENT, `name` varchar(32) NOT NULL, `age` int NOT NULL, `create_time` datetime NOT NULL DEFAULT
impala运行sql文件无法正确转换为decimal（没有四舍五入）
博客
12-23 2704
一次迁移发现，生产和测试的结果不太一样，生产用的impala，测试用hive，同一个值，在转换为decimal(8,2)时，impala没有四舍五入，hive有，查看日志发现impala出现了警告： WARNINGS: UDF WARNING: String to Decimal parse failed UDF WARNING: String to Decimal parse failed 查了很久才发现是因为impala配置文件里配置了SET DECIMAL_V2=FALSE;使用hue测试了一下 S
hive sql 中容易出错的点记录
帅成一匹马
03-14 281
1. group by 后接多个字段，表示将多个字段看作一个整体进行分组，各字段之间并无先后顺序。 2. hive sql执行顺序 : group by>select from ..on .. join .. where .. group by .. having .. select .. distinct .. order by..limit 未完待续...... ...
使用Sqoop将Mysql数据导入Hive踩坑
weixin_39347555的博客
04-12 2502
背景： 由于公司这个项目存在阿里云上，不能由DBA来维护，所以想要把数据从Mysql抽取到Hive上就需要我们自己来动手。。。 数据量不是很大，但是分了巨多的库；需要导入的只有7张表，但是大概有94个库，每个库下边都有这七张表。 初步设计方案是在把Mysql不同数据库的数据存放在Hive表不同的分区，就是一张hive表大概有90多个分区。 最初想法： 1.先用sqoop复制表结构； 2.循环数据库...
Spark 为什么比 Hive 快
最新发布
JIE的博客
04-26 2248
由于 MapReduce 的特性，Hive 在处理大规模数据时可能会出现较高的延迟，因为它需要频繁地将数据写入和读取磁盘，Shuffle 操作会导致花费的时间代价比较大。那么在稳定性方面，Hive 优于 Spark，这是因为在 MR 任务中，数据总是按照块分片进行处理，每块数据都可以独立地读取和处理，并不需要将所有数据都加载到内存中，因此它对内存的需求远低于Spark。由于 Spark 使用的是内存计算，在处理大规模的数据时，需要足够的内存资源，否则可能会发生 OOM 或者导致计算速度非常缓慢。
hive 报错：Error while compiling statement: FAILED: ClassCastException null，如何解决
05-16
可能是在查询过程中涉及到的某个列的数据类型不正确导致的。 可以尝试以下几种方法来解决这个问题： 1. 检查查询语句中所有列的数据类型，确保它们与表中的列数据类型匹配。 2. 如果使用了函数，请确保它们接受...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值