有Hive之后,为何还要学mapreduce

16人阅读 评论(0) 收藏 举报
分类:

我是从不同的地方,收集来的:

hive本身只是在mr上封装,应用场景自然更局限,不可能满足所有需求

有些场景是不能用hive来实现,就需要mr来实现。

结构复杂的日志文件,首先要经过ETL处理(使用mapreduce),得到的数据再有hive处理比较合适。直接让hive处理结构复杂的数据估计很难处理。

业务比较复杂的,还是必须写mapreduce才能实现

Hive目前底层还是用MapReduce,以后可能会用Spark,TezHive差不多是一个查询接口,你的SQL语句还是会翻译成MapReduce任务的,你用explain就可以看到这些任务的执行计划。

hive+transform约等于mr


你的看法呢?

查看评论

一骑绝尘引发的思考–关于hive程序员是否需要学习mapreduce

标题是一篇文章,为新华社记者杨明所写,文中讨论了中国在亚运会团购金牌的事,认为泱泱中华不应该再以金牌论英雄,而需将竞技体育转移到全民运动中来,让全社会都来热爱体育,热爱运动。 引用此文,不是在此...
  • robby_chan
  • robby_chan
  • 2013-07-31 13:37:02
  • 777

Mapreduce与Hive比较

1、背景介绍 早先的工作中,有很多比较复杂的分析工作,当时对hive还不熟悉,但是java比较熟悉,所以在进行处理的时候,优先选择了MR. 但是随着工作的数据内容越来越多,越来越复杂,对应的调...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2015-11-03 21:07:57
  • 2520

Hive中不走MapReduce的查询

在Hive中查询语句往往都要被解析成MapReduce的job进行计算,但是有两个查询语句是不走MapReduce的,如下: 1.查询某张表的所有数据 select * from employee...
  • lzm1340458776
  • lzm1340458776
  • 2015-01-24 14:47:59
  • 1384

MapReduce基础开发之三字段处理并输出Hive表

1、MR设计和开发    1)设计:      输入:用户名 | 数字ip | 时间戳 |  url      MR处理:读取正则表达式匹配url,满足则解析url并转换ip和时间戳,      输出...
  • fjssharpsword
  • fjssharpsword
  • 2016-06-28 11:36:40
  • 3475

从 MapReduce 到 Hive

1、背景介绍 早先的工作中,有很多比较复杂的分析工作,当时对hive还不熟悉,但是java比较熟悉,所以在进行处理的时候,优先选择了MR.  但是随着工作的数据内容越来越多,越来越复杂,对应的调整也越...
  • wulantian
  • wulantian
  • 2014-12-02 10:49:36
  • 5884

hive中如何确定一个mapreduce作业的reduce数量

版本:hive1.2.1        看源码:org.apache.hadoop.hive.ql.exec.Utilities类中的estimateReducers方法        参数1: to...
  • zhoudetiankong
  • zhoudetiankong
  • 2016-04-11 15:22:26
  • 1111

Hive对应MapReduce操作

转载自:http://tech.meituan.com/hive-sql-to-mapreduce.html MapReduce实现基本SQL操作的原理 详细讲解SQL编译...
  • yixiantian7
  • yixiantian7
  • 2016-11-15 11:58:17
  • 3617

Hive查询在MapReduce上的执行过程

Hive查询首先被转换成物理查询计划,物理查询计划通常包含多个MapReduce作业,而一个MapReduce作业的输出可以作为另一个MapReduce作业的输入。Hive为Hive查询设计的MapR...
  • wyc09
  • wyc09
  • 2014-02-27 18:46:38
  • 2025

hive job配置和mapreduce数目控制

开启动态分区: hive.exec.dynamic.partition=true 默认值:false 描述:是否允许动态分区 hive.exec.dynamic.partition.mode=...
  • evo_steven
  • evo_steven
  • 2013-11-26 11:19:08
  • 5350

[Hive]MapReduce将数据写入Hive分区表

[Hive]MapReduce将数据写入Hive分区表
  • yeweiouyang
  • yeweiouyang
  • 2015-04-02 16:45:24
  • 4942
    个人资料
    持之以恒
    等级:
    访问量: 6420
    积分: 1088
    排名: 4万+
    文章存档