hiveSql常见错误记录

最新推荐文章于 2022-04-10 11:29:50 发布
最新推荐文章于 2022-04-10 11:29:50 发布
阅读量1.4k 收藏 1
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/Sinkinghost/p/9842864.html
版权
1. In strict mode, if ORDER BY is specified, LIMIT must also be specified.

这个错误提示是因为在hive下写的sql使用了order by对数据进行数据排序，因为order by事实上是全局排序，因此，在reduce阶段仅为一个reduce做汇总，为此，数据量庞大，在hive的严格模式下禁止全局排序的。

两种解决方案

  • 更改hive严格模式设定set hive.mapred.mode = nonstrict
  • SQL末尾增加limit限定

 

转载于:https://www.cnblogs.com/Sinkinghost/p/9842864.html

weixin_30375427
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive sql中的“坑”
我要学R
07-07 358
最近开始接触hive sql，在这之前从来没用过，所以刚开始用的时候总是我觉得代码没问题但是总报错，经过各种查询和调试最终才解决问题，其中费了不少功夫。好在现在已经慢慢熟悉起来，用起来顺手了很多，这里记录一下我踩过的一些“坑”。 1.不好用文字描述，这里直接举个例子： 当select语句中的日期这样处理：SELECT concat_ws('_', substr(date_time, 1, 4), substr(date_time, 5, 2), substr(date_time, 7, 2)) ASn.
Hive常见问题维护手册V1.01
08-04
当遇到问题时，首先查看 `hive.log`，这是默认的通用日志文件，记录了 Hive Server 的操作和错误信息。如果问题涉及到特定查询，可能需要查看 `hive-exec.log`，它记录了查询执行的详细步骤。 【Hive_LOG_00002】 ...
HiveSql工作中常见易错点总结
石榴姐yyds
04-23 1195
0 前言 在进行数仓搭建和数据分析时最常用的就是 sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括 hive，spark，flink等，所以sql在大数据领域有着不可替代的作用，需要我们重点掌握。 在使用sql时如果不熟悉或不仔细，那么在进行查询分析时极容易出错，接下来我们就来看下几个容易出错的sql语句及使用注意事项。 1. decimal hive 除了支持 int,double,string等常用类型，也支持 decimal 类型，用于在数据库中存储精确
Hive sql 易错点
weixin_46180512的博客
11-08 344
rank()over()、dense_rank() over()、row_number() over()区别 区别 （1）rank() over()例子 （2）dense_rank() over()例子 （3）row_number() over()例子
工作中写hivesql容易犯错误的事项
bigdata_users的博客
04-10 160
最近工作由于接业务事项较多，发现写sql及容易犯的事项，即便工作多年的老sqlboy，也会犯这种错误，特此总结一下： 1、null 字段不能做为关联字段，如果关联字段中有null，请用下边方式写，否则会丢失数据 nvl(a.col,'-')=nvl(b.col,'-') 2、where条件里的!= 会过滤值为null的数据 这个和1的情况处理方式一样 nvl(a.col,'-')!= 3、左连接写也会数据倾斜，需要将数据单独取出处理 数据量特别大的情况下连接也会出现数据倾斜，通常处理方式是将数据量特别
hive sql 中容易出错的点记录
帅成一匹马
03-14 302
1. group by 后接多个字段，表示将多个字段看作一个整体进行分组，各字段之间并无先后顺序。 2. hive sql执行顺序 : group by>select from ..on .. join .. where .. group by .. having .. select .. distinct .. order by..limit 未完待续...... ...
hive所需jar包
06-04
常见的问题可能包括网络问题、权限问题、版本不兼容或者SQL语法错误。 总之，正确配置和使用Hive的JAR包对于在DbVisualizer这样的数据库管理工具中顺利连接和操作Hive至关重要。理解这些JAR包的作用以及如何在环境...
Flume采集Nginx日志到新版Hive.rar
09-20
此外，Hive的SerDe（序列化/反序列化）库需要与日志格式匹配，比如使用`org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe`来处理常见的Nginx日志格式。 在Hive中创建表结构，以匹配Nginx日志字段： ```sql ...
UDTF函数不生效问题.doc
最新发布
03-05
在Hive中，UDTF（User Defined Table Generating Functions）是一种特殊的用户自定义函数，它可以生成多行记录或多列数据，通常用于数据处理场景中，如分词、拆分等操作。与常见的UDF（User Defined Function）不同...
3.《离线数据仓库设计与开发》课件 v3.0.docx
01-06
3. 外部表：在企业环境中，外部表的使用很常见，它们允许数据存储在HDFS等外部存储系统上，而元数据由Hive管理，这样便于数据的共享和管理。 SQL编写是数据仓库操作的核心，以下是一些基本步骤和技巧： 1. 找到目标...
hive上报ERROR:10004错误和order by ,sort by区别
西瓜追随螃蟹的脚步
08-28 3638
在使用hive写hql时报10004错误，提示列字段名称错误
hive中使用ORDER BY报错
clever_wr的博客
03-20 3388
在hive中出现；例如以下的错误： Error while compiling statement: FAILED: SemanticException 19:9 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id' 主要是通过在使用O...
hive 中 order by ,sort by ,distribute by ,cluster by 详解
u012957549的博客
01-01 2547
1. order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序） 只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict; order by 和数据库中的O...
每天学习笔记系列-HIVE SQL : ORDER BY 与 SORT BY
K@HONG的博客
10-23 4799
之前一直没太关注 order by 和sort by的区别，今天看了下。   首先 ，如果在 严格模式下直接使用order by 会报错，必须加上 LIMIT关键字; In strict mode, if ORDER BY is specified, LIMIT must also be specified. set hive.mapred.mode=nonstrict;  #或者将...
【Hive】order by count() 报错
喜东东的博客
05-22 5068
order by count(id) 报错 hive> select date, count(id) as idnum from test group by date order by count(id) FAILED:SemanticException[Error 10004]:...Invalid table alias or column reference 'id':(possib...
关于hive排序问题详解
weixin_44347111的博客
04-14 1033
ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。 hive> set hive.mapred.mode...
hive报错：SQL 错误 [40000] [42000]
热门推荐
lingdong69的博客
07-21 1万+
SQL 错误 [40000] [42000]hive报错：SQL 错误 [40000] [42000] hive报错：SQL 错误 [40000] [42000] SQL 错误 [40000] [42000]: Error while compiling statement: FAILED: ParseException line 2:11 mismatched input ‘unsigned’ expecting ) near ‘int’ in create table statement 错误信息提示：
hive sql 报错集锦
qq_40097201的博客
07-27 4495
1. FAILED: SemanticException Column dt Found in more than One Tables/Subqueries 错误原因：有一字段在多个表中出现，但是没有在字段前加表名前缀，导致出现错误 解决方案：在字段前加上后缀名。...
hive sql 常见异常
weixin_34107955的博客
02-22 403
1、union Logging initialized using configuration in file:/home/xiaoju/hadoop/apache-hive-1.2.1-bin/conf/hive-log4j.propertiesAdded [target/publiclog-serde-1.0-SNAPSHOT-jar-with-dependencies.jar] to cl...
hivesql慢的常见场景
06-05
HiveSQL慢的常见场景如下： 1. 大表查询：Hive通常用于海量数据的处理和分析，当查询的数据量较大时，可能会导致HiveSQL执行缓慢。此时可以考虑使用数据分区、压缩、索引等优化方法。 2. 复杂SQL查询：当SQL查询...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值