hive 如何避免产生mapreduce

最新推荐文章于 2021-11-02 15:57:44 发布
最新推荐文章于 2021-11-02 15:57:44 发布
阅读量383 收藏
点赞数 1
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29082603/article/details/103524281
版权

不是用mr查询的Job就是本地Job

避免产生MR的三种方式：

1.全表扫描,不加where子句

2.where子句只有分区字段

3.设置hive.exec.mode.local.auto=true

hive会尽量使用本地模式查询

 

其余的所有查询都会转换成mr

JAVA日常笔记精选
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python读取hive数据库mapreduce_hive(基于mapreduce)的使用
weixin_39781363的博客
01-30 626
一：数据表建立(一)创建数据库hive>create database hadoop;hive> use hadoop;数据库位置在hdfs://ns1/user/hive/warehouse/hadoop.db目录下(二)建表hive> create table t_order(id int,name string,container string,price double...
《Hive用户指南》-HiveSQL转化为MapReduce任务
机器学习，大数据
04-08 1876
文章目录1. hive.fetch.task.conversion参数2. 转化为MR任务的SQL2.1 JOIN2.2 GROUP BY2.3 DISTINCTReference Hive是Facebook实现的一个开源的数据仓库工具—— Hive基于Hadoop实现，底层数据存放在HDFS中，计算（查询）使用MapReduce任务实现 将结构化的数据文件映射为数据库表，并提供HQL查询功能，...
Hive：简单查询不启用Mapreduce job而启用Fetch task
zhoulixin8的专栏
07-06 311
我们都知道，启用MapReduce Job是会消耗系统开销的。对于这个问题，从Hive0.10.0版本开始，对于简单的不需要聚合的类似SELECT from LIMIT n语句，不需要起MapReduce job，直接通过Fetch task获取数据，可以通过下面几种方法实现： set hive.fetch.task.conversion=more; 开启了Fetch任务，所以对于上述简单
hive设置为本地模式，从而避免MapReduce
林中有神君
03-17 461
配置如下参数，可以开启Hive的本地模式： hive> set hive.exec.mode.local.auto=true;(默认为false)
针对hive选择单列查询时，用不用mapreduce
weixin_43272605的博客
09-08 440
针对hive选择单列查询时，用不用mapreduce 或者说哪些任务执行mapreduce hive.fetch.task.conversion 有 more 和 minimal none 配置项，可以调节查询操作时用不用mapreduce 我是用的more能够使更多查询不用调用mapreduce 比如select name from tablename;这些简单的就不会调用mapr...
hive下慎用insert overwrite用法 和 随机函数做为bucket
sunlei1980的专栏
11-01 1654
当前hive社区已到3.1.2版本，较多hive用户还不太清楚在0.14版本之后开始已支持事务，对于批处理任务中要用到update/delete/merge into的场景，非常受用。当前较多hive用户在做数据更新时还在用insert overwrite的用法，可以想象一下，如果是高并发的情况下，可能会出现什么情况？ 在数仓/集市设计的过程中，表结构的设计尤为重要。对于hive来说，分区、分桶设计的好坏，可以直接影响批处理任务的执行效率，分桶如使用不当，则可能出现数据异常的情况，后果...
什么情况下可以避免HIVE语句进行Map-Reduce
ck3335458的博客
11-01 733
1.使用本地模式 select * from table 在这种情况下，hive直接可以读取table对的存储目录下的文件，然后格式化输出到控制台 2.where 语句中只区分字段情况 where A='' AND B='' 3.设置属性hive.exec.model.local.auto值为true    在这些情况下都可以使得Hive进行避免mapreduce...
hive避免进行MapReduce过程的几种情形
博客
08-05 1057
question： hive一般情况下，会触发MapReduce任务进行查询，那么什么情况下可以不必使用MapReduce进行查询呢？ answer： 在本地模式下，hive可以避免进行MapReduce（查询速度相对而言更快）。 例如： 1、select * from emp（表名）; 2、只过滤字段（列）的select语句： 对于where语句中过滤条件只是区分字段（列）这种情况，无论是否使用limit语句限制输出记录条数，也是无需MapReduce过程的 select * from
Hive理论_Hive-基于MapReduce框架的数据仓库解决方案_ZN.doc
09-21
Hive理论_Hive-基于MapReduce框架的数据仓库解决方案_ZN.doc
从MapReduce到Hive
liyifan687的博客
12-05 1383
1.计算框架 Hadoop 是一个计算框架，目前大型数据计算框架常用的大致有五种： 仅批处理框架：Apache hadoop. 仅流处理框架：Apache Storm、Apache Samza. 混合框架：Apache Spark、Apache Flink. 这其中名气最大、使用最广的当属 Hadoop 和 Spark。 虽然两者都被称为大数据框架，但实际层级不同。Hadoop 是一个分布式数...
Hive原理与实现
01-10
Hive原理与实现 详细介绍了hive的原理
MapReduce和Hive
Albert_ycl的博客
02-27 8064
1,MapReduce的原理，Wordcount的过程1.1,Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。1.2,对待大数据处理：分而治之,大数据的并行化计算1.3,不可分拆的计算任务或相互间有依赖关系的数据无法进行并...
hive 增加字段_什么情况下hive可以避免进行MapReduce过程
weixin_39621695的博客
12-27 93
hive一般情况下，会触发MapReduce任务进行查询，那么什么情况下可以不必使用MapReduce进行查询呢？在本地模式下，hive可以避免进行MapReduce（查询速度相对而言更快）。例如：1、select * from emp（表名）;2、只过滤字段（列）的select语句：对于where语句中过滤条件只是区分字段（列）这种情况，无论是否使用limit语句限制输出记录条数，也是无需Map...
Hive什么情况下可以避免进行MapReduce？
mojolang
03-27 1945
hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。 1、本地模式下，hive可以简单的读取目录路径下的数据，然后输出格式化后的数据到控制台，比如有本地员工employee，当执行 select * from employee 时，直接将文件中数据格式化输出...
[Hive]调用本地模式，避免使用MapReduce
热门推荐
TOMACAT的博客
08-14 2万+
大多数情况下查询都会触发一个MapReduce任务(job)。Hive中对于某些查询可以不必使用MapReduce，也就是所谓的本地模式，例如： SELECT * FROM employees WHERE country = 'US' and state = 'CA' LIMIT 100; 通过修改属性的值，Hive还是尝试使用本地模式执行其他的操作： set hive.exec.mod...
58- 大数据-hive 查询数据二：什么情况下避免进行mapreduce
yaoyelinger0912的博客
07-14 162
hive对于某些情况的查询不必使用mapreduce的，也就是本地模式 set hive.exec.mode.local.auto=true; hive读取student对应的存储目录下的文件，输出格式化后的内容到控制台 ...
hive什么情况下避免MapReduce？
Black eyes的博客
01-08 1109
1.本地模式下，hive可以简单的读取目录路径下的数据，然后输出格式化后的数据到控制台。当执行 select * from tableName时直接将文件中数据格式化输出。 2.查询语句中的过滤条件只是分区字段的情况下，无论是否使用limit语句限制输出记录条数，也不会进行mapreduce。 3. 设置hive-site.xml里面的配置参数 hive.fetch.task.convers...
天翼云实践（二）：hive操作
qq_29718979的博客
03-19 488
今天将天翼云中的两台hadoop节点进行了hive操作，结果大吃一惊。原来实践后的hive与原来的理解完全不同。各位有机会，一定实际操作云及各项应用，这样既记忆深刻，更重要的是检验理论。今天我们来看看实际hive操作过程。 一、安装hive 因为上次安装了两个节点的hadoop最小集群（master、node节点），今天直接在master节点上安...
对Hadoop和Hive的初步认识
august5291的博客
11-02 839
一、Hadoop Hadoop是有Apache基金会所开发的分布式系统处理架构，是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理。 Hadoop框架最核心的设计就是HDFS（Hadoop Distributed File System）和MapReduce。 HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算。 对外部客户机而言，HDFS就像一个传统的分级文件系统，可以创建、删除、移动或重命名文件。个人理解我们现在使用的网盘就是这种思想
Hive原理与MapReduce详解
在深入理解Hive的工作原理之前，有必要先了解MapReduce这一分布式计算模型，因为Hive在执行查询时依赖于MapReduce。 MapReduce是Google提出的一种编程模型，主要用于大规模数据集的并行计算。它的核心思想是将复杂...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值