hive中select 走与不走mapreduce

最新推荐文章于 2022-06-08 22:23:25 发布
最新推荐文章于 2022-06-08 22:23:25 发布
阅读量733 收藏 1
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/java20130722/p/3206893.html
版权

hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。这样做的好处就是不新开mr任务，执行效率要提高不少，但是不好的地方就是用户界面不友好，有时候数据量大还是要等很长时间，但是又没有任何返回。

改这个很简单，在hive-site.xml里面有个配置参数叫

hive.fetch.task.conversion

将这个参数设置为more，简单查询就不走map/reduce了，设置为minimal，就任何简单select都会走map/reduce

转载于:https://www.cnblogs.com/java20130722/p/3206893.html

weixin_30888707
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive的Fetch抓取---为什么hive中执行select，filter，limit不走mapreduce？
weixin_44516261的博客
08-21 512
Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM emp;在这种情况下，Hive可以简单地读取emp对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。 案例实操： （1）把hive.
hive中与hbase外部表join时内存溢出（hive处理mapjoin的优化器机制）
weixin_30500663的博客
11-28 207
与hbase外部表（wizad_mdm_main）进行join出现问题： CREATE TABLE wizad_mdm_dev_lmj_edition_result as select * from wizad_mdm_dev_lmj_20141120 as w JOIN wizad_mdm_main as a ON (a.rowkey = w.guid); 程序启动后...
Hive中不走MapReduce的查询
赶路人儿
04-08 7552
在Hive中查询语句往往都要被解析成MapReduce的job进行计算，但是有两个查询语句是不走MapReduce的，如下： 1.查询某张表的所有数据 [java] view plain copy select * from employees;   结果显示如下： [java] view plain copy
Hive查询不走MapReduce
CharlesCFA的博客
02-17 1009
在使用Hive的时候，有时候只是想取表中某个分区的前几条的记录看下数据格式，比如一个很常用的查询： select * from xxx where partition_column=xxx limit 2; 这种对数据基本没什么要求，随便来点就行，既然如此为什么不直接读取本地存储的数据作为结果集呢? Hive命令都要转换为MapReduce任务去执行，但是因为启动MapReduce需要消耗资源，然后速度还很慢（相比较于直接从本地文件中读取而言），所以Hive对于查询做了优化，对于某些查询(比如消耗资源大的查
hive ：简单查询不走mapreduce
不花的花和尚的博客
10-28 1744
在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。 这套映射工具称之为metastore，一...
Impala与Hive的比较
03-01
Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN...
hive调优
01-07
参数调优 如何开启map输出阶段压缩 ...2）开启mapreduce中map输出压缩功能 set mapreduce.map.output.compress=true; 3）开启mapreduce中map输出数据的压缩方式 set mapreduce.map.output.compress.codec= org.apac
大数据:hive1
01-07
 数据仓库通过sql进行统计分析——–>将SQL语言中常用的操作（select,where,group等）用mapreduce写成很多模板 所有的mapreduce模板封装在hive中—>通过hive框架匹配出相应的mapreduce模板—->运行mapreduece生成...
Hive查询优化整理与Hive简易版思维导图
04-30
三、Hive性能监控与调优 1. **Explain命令**：使用EXPLAIN分析查询执行计划，了解Hive如何处理SQL，找出性能瓶颈。 2. **Hive Metastore优化**：保持Metastore整洁，定期清理不再使用的表和分区，确保元数据检索...
Hive分区表count(*)不起mapreduce的真相
勤能补拙
10-31 5364
问题背景： 在对Hive求count(*)时，发现有些表会启mapreduce计算、返回 结果，比较耗时，有的表1秒之内返回结果 刚开始以为刚刚执行过一次count()后会对结果进行缓存，不用再去跑mapreduce，但经进一步实验发现大多数表每次执行count()操作都会跑mapreduce，于是猜测的结论不成立。 后在必应查找原因，大部分的结果都指向了：‘hive从1.0开始采用Fetch
hive避免进行MapReduce过程的几种情形
博客
08-05 1016
question： hive一般情况下，会触发MapReduce任务进行查询，那么什么情况下可以不必使用MapReduce进行查询呢？ answer： 在本地模式下，hive可以避免进行MapReduce（查询速度相对而言更快）。 例如： 1、select * from emp（表名）; 2、只过滤字段（列）的select语句： 对于where语句中过滤条件只是区分字段（列）这种情况，无论是否使用limit语句限制输出记录条数，也是无需MapReduce过程的 select * from
什么情况下 Hive 可以避免进行 MapReduce？
热门推荐
Shockang的博客
06-20 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 hive 为了执行效率考虑，简单的查询，就是只是 select，不带 count,sum,group by 这样的，都不走 MapReduce，直接读取 hdfs 目录中的文件进行 filter 过滤。 也就是所谓的本地模式。 1、直接查询表的数据 不会进行 MapReduce select * from
快速了解Hive
qq_52150032的博客
06-08 375
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapreduce任务来处理内建的SQL函数无法完成的复杂的分析任务。Hive中包含的有SQL解析引擎，它会将SQL语句转译成M/R Job,然后在Hadoop中执行。通过这里的分析我们可以了解到Hive可以通过sql查询Ha
hive强制select * 进行MapReduce任务
疯狂的暴走蜗牛的专栏
01-21 3626
简介     由于hive本身的优化机制，一些简单的语句如select *，select 字段1，字段2 from table，hive不会启动MapReduce任务。但是有时候我们并不希望他这么做，比如：通过hiveserver2使用Java的jdbc发送select * from  aaa，这个语句，当aaa这个表数据量超大的时候，比如我遇到的3000+的字段，5000万的数据量，程序就卡死...
Hive调优之MapReduce详解
qq_654603797
05-28 3703
MapReduce会经历作业输入（Input）、业务处理接口Map、Map到Reduce之间数据传输的环节Shuffle、业务处理接口Reduce和作业输出（Output）五大环节。这5个环节还可以进一步分解成如下图： 在Hive调优的过程中，我们不希望产生太多 的Map,而把计算任务的等待时间都耗费在Map的启动上；或者不希望生成太多的Map对某个文件进行操作，以免引起资源的争用。因此需要对Map进行控制（在Hive配置“set mapred.map.tasks=task数量”无法控制Map...
用hive执行select查询，使用mapreduce离线查询就一直卡在这里，原来是yarn出了问题，两个节点都是standby！【已解决】
一个bug修一年的博客
01-23 882
求高人指点！！！
Hive：简单查询不启用Mapreduce job而启用Fetch task
An342647823的专栏
03-14 2911
转载：http://blog.csdn.net/wypblog/article/details/17410315 谢谢分享。 如果你想查询某个表的某一列，Hive默认是会启用MapReduce Job来完成这个任务，如下： 01 02 03 04 05 06 07 08 09 10 11 12
什么情况下可以避免HIVE语句进行Map-Reduce
ck3335458的博客
11-01 720
1.使用本地模式 select * from table 在这种情况下，hive直接可以读取table对的存储目录下的文件，然后格式化输出到控制台 2.where 语句中只区分字段情况 where A='' AND B='' 3.设置属性hive.exec.model.local.auto值为true    在这些情况下都可以使得Hive进行避免mapreduce...
MapReduce排序hive
最新发布
06-08
如果您想在Hive中使用MapReduce来进行数据排序，可以按照以下步骤进行： 1. 创建输入表：首先需要创建一个包含需要排序数据的Hive表。 2. 创建输出表：创建一个新的Hive表，用于存储排序后的结果。 3. 创建...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值