Hivesql里的limit使用误区

松门一枝花

于 2017-11-21 15:06:01 发布

阅读量3.4w

点赞数 7

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.csdn.net/zengmingen/article/details/78592708

132 篇文章

订阅专栏

本文介绍了如何在Hive中高效地查询前1000行数据，并从中筛选出不重复的refid和imsi字段。通过对比错误和正确的SQL写法，文章详细解释了为什么某些查询方式更优，并给出了具体的实现步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

   select * from HIVE_D_MT_UU_H_SPARK limit 1000; 
 
   读取前1000行。

 
 需求： 

 
 在hive表前1000行里，过滤出不重复的refid,imsi。 

 
 错误的写法： 

 
 select distinct refid,imsi from HIVE_D_MT_UU_H_SPARK limit 1000; 

 
 会去读取全表，把0~1000行的不重复refid,imsi显示出来。 

 
 正确的写法： 

 
 select distinct refid,imsi from (select * from HIVE_D_MT_UU_H_SPARK limit 1000);
  

 
 调优的写法： 

 
 CREATE TABLE TEMP_HIVE_D_MT_UU_H_SPARK AS 

 
 select * from HIVE_D_MT_UU_H_SPARK limit 1000;

 
 select distinct refid,imsi from  
 TEMP_ 
 HIVE_D_MT_UU_H_SPARK; 

 
 hive最快的执行就是不走MapReduce。简单的select的是最快的，嵌套啥的都比较忙。与关系型数据库不同。 

 
 调优的写法执行更快。  