Hive笔记四之MR任务

最新推荐文章于 2022-08-15 21:39:10 发布
最新推荐文章于 2022-08-15 21:39:10 发布
阅读量6.4k 收藏 6
点赞数
分类专栏： Hive 文章标签： hive MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ty4315/article/details/54315770
版权

        在hive中除全表扫锚外，hive中的HQL语句全部转化为MR任务

        调用Driver中的run方法开始执行编译，解析，分析(通过元数据)生成hive.jar交给hadoop执行，添加task线程启动线程，最后通过Runtime类在jvm中执行并返回结果。

Map数量

       在hadoop中通过Input和blocksize来决定MR任务的数量，例如有3个小文件在hadoop中就会生成3个Map任务但是在hive中就对其进行了优化只需要一个Map任务就可以。Hive通过combineHiveInputFormat类将这些小文件合并用以提高效率。

      t3有3个小文件而我在hive中执行查询时可以看到最终它只生成了一个Map任务




Reduce数量

    Hive将hql转化为MR任务，在日志中可以看到有两个参数分别是hive.exec.reducers.bytes.per.reducer

最低0.47元/天 解锁文章
臭小优
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据入门核心技术-Hive】（二十）Hive哪些操作会触发MR
05-19 120
2）HDFS 数据加载： 如果数据源是 HDFS，并且目标表的存储格式是文本（TextFile）或某些列式存储格式（如 ORC 或 Parquet），则数据加载操作通常也不会触发 MapReduce 作业。Hive 会直接移动或复制数据到目标表的 HDFS 目录，并更新元数据。1）本地数据加载且存储格式不支持直接复制： 如果数据源是本地文件系统（LOCAL 关键字），但目标表的存储格式不支持直接复制（如 SequenceFile 或 RCFile），则数据加载操作可能触发 MapReduce 作业。
MapReduce编程模型简述（mr任务流程）
weixin_44361667的博客
03-04 447
1.在客户端执行submit()方法之前,会先去获取一下待读取文件的信息 2.将job提交给yarn,这时候会带着三个信息过去(job.split(文件的切片信息),jar.job.xml) 3.yarn会根据文件的切片信息去计算将要启动的maptask的数量,然后去启动maptask 4.maptask会调用InPutFormat()方法去HDFS上面读取文件,InPutFormat()方法会再去调用RecordRead()方法,将数据以行首字母的偏移量为key,一行数据为value传给mapper(..
启动一个MR任务
MusicDancing的博客
12-03 296
1. #!/bin/bash INPUT_DIR="/app/lbs/zz/route/*" OUTPUT_DIR="/app/lbs/zz/result" HADOOP_HOME="/home/user/zz/hadoop-navi/hadoop/bin" ${HADOOP_HOME}/hadoop fs -rmr ${OUTPUT_DIR} ${HADOOP_HOME}/hadoop bistreaming \ -input ${INPUT_DIR} \ -output ${OUT
hadoop（四）组合MR任务概述
weixin_41850738的博客
08-19 2076
一些复杂的任务很难由一个MR处理完成，所以一般需要将其拆分成为多个简单的MR子任务来执行，MapReduce框架中对于这类的问题提供了几种方式进行任务执行流程的控制，主要包括以下几种方式：顺序组合式MapReduce任务、具有依赖关系的组合式MapReduce任务以及专门用于Map和Reduce主过程前处理和后处理的链式MapReduce任务。其中顺序组合式MapReduce任务可以经...
5 ，调度 mr 任务 ：
孙砚秋的博客
07-29 318
1 ，目标 ： 使用 Oozie 调度 MapReduce 任务 2 ，准备 jar 包 找到一个可以运行的 mapreduce 任务的 jar 包 ( 可以用官方的，也可以是自己写的 ) 。 3 ，解压模板文件 ： ( 注意 ：解压模板变了 ) 解压 ： cd /export/servers/oozie-4.1.0-cdh5.14.0 mkdir test03 cp oozie-example...
MR工作流程
weixin_56648524的博客
08-15 673
9）MRAppMaster分配在那些NM上运行map（即yarnchild进程），reduce任务。1）执行hadoop jar命令之后，生成RunJar进程，客户端向RM申请一个job。10）运行map和reduce任务的NM，向资源共享文件系统获取job相关资源。12）job任务结束后，MRAppmaster向RM注销自己，然RM回收资源。3）客户端提交相关资源（jar，xml）到共享文件系统（HDFS）2）RM向客户端发送job资源的提交路径，生成jobID。11）运行map，reduce任务。...
大数据hive笔记.zip
10-05
在当今的数据洪流中，Hive作为一种强大的大数据处理工具，已经成为业界的标准之一。本笔记将全面深入地探讨Hive在大数据处理中的应用、原理及其实战技巧。 一、Hive简介 Hive是Apache软件基金会下的一个开源项目，...
hive笔记.md的
05-11
hive笔记.md的
大数据之hive笔记
11-25
大数据hive的全部笔记，需要的小伙伴可以下载哦！如果没有积分也可以私信我哦
hive学习笔记精华版
10-08
【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具，它基于Hadoop构建，主要用于数据仓库和数据分析。作为一个离线处理系统，Hive可以将结构化的数据文件映射成数据库表，允许用户使用类似SQL的查询...
hive on spark mr 数据开发常见问题解决
最新发布
11-20
在Hive on Spark MR（MapReduce）数据开发中，开发者经常遇到各种问题，这些问题往往阻碍了工作效率。以下是一些常见的问题及其解决方案： 1. **Shuffle in Fetcher#6 错误** 当Hive作业处理大数据量时，可能会...
细说Hive SQL触发MR的场景
AaronLwx的博客
05-27 4236
背景 首先，说一下结论，Hive是否触发作业跟hive.fetch.task.conversion这个参数有关 那么我们先来看看hive.fetch.task.conversion这个参数是啥 打开hive终端 hive> set hive.fetch.task.conversion; hive.fetch.task.conversion=more 通过参阅文档，得知hive...
MapReduce(十八): MR任务开发说明
dickens的专栏
09-02 2179
开发一个MR任务涉及代码编写，打包，运行，调试。指定第三方lib库，读取程序配置文件和资源文件，运行日志配置，能够读取指定源数据，并且输出结果到指定存储媒体。以下根据上述程序编写的基本条件逐一列出在hadoop中如何开发。 1.   把自己的代码打包成jar包，jar包中可包含lib目录和classes目录，lib目录中可放第三方包，classes目录中可放额外配置文件或资源文件等。通过hado
hive一运行mr程序就报错
weixin_55527323的博客
07-21 622
hive一运行mr程序就报错。
MR任务读取HFile
qq_35542970的博客
01-28 2030
近期需要开发个功能，通过MR批量读取HFile文件，并以Result的格式写入到其他存储系统中。过程中遇到了一些坑，在此记录下。 前期调研 基于MR的HBase数据读取，常用的是基于HBase官方的TableMapper实现。但是这里需要读取HFile文件，且不想经过HBase（BulkLoad场景下，读取增量数据，但不想全扫描HBase表），那这个方案就不合适啦。 ...
关于Hive SQL是否走MR任务的总结
u012667450的博客
04-28 1629
关于Hive SQL是否走MR任务的总结 Hive1.X和Hive2.X的版本，默认情况下，一般都会走MR程序。除了三种情况： 1.select * from table_name #select * 的情况不会走MR 2.select column1,column2 ... from table_name #select指定字段名的情况不会走MR（where和having除外） 3.select * from table_name limit N #select * 限制输出条数不会走MR 当然，以上说
hive中mr个数判断
qq_18219755的博客
06-08 1694
对于 JOIN 操作： Map： 以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合 以 JOIN 之后所关心的列作为 Value，当有多个列时，Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪个表。 按照 Key 进行排序。 Shuffle： 根据 Key 的值进行 Hash，并将 Key/Value 对...
hive在YARN下执行mr任务问题
mrking0105的专栏
09-15 1208
错误和解决方案都可以参加该链接： http://grokbase.com/p/cloudera/cdh-user/126wqvfwyt/hive-refuses-to-work-with-yarn 现象就是，当hive启动mr任务是报错如下： [quote] Error during job, obtaining debugging information... Examinin...
Hadoop系列：mr-jobhistory-daemon.sh 查看mr的历史任务
NIO4444
08-27 1274
这个脚本的服务是实现web查看作业的历史运行情况。 有些情况下，作业运行完了，在web端就无法查看运行情况。 可以通过开启这个的守护进程来达到查看历史任务。 启动命令为 mr-jobhistory-daemon.sh start historyserver 停止命令为 mr-jobhistory-daemon.sh stop historyserver ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值