Hive笔记四之MR任务

最新推荐文章于 2024-08-01 08:58:44 发布
最新推荐文章于 2024-08-01 08:58:44 发布
阅读量6.5k 收藏 6
点赞数
分类专栏： Hive 文章标签： hive MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ty4315/article/details/54315770
版权
本文主要探讨了Hive中MapReduce任务的执行情况。在Hive中，小文件会被优化合并成一个Map任务以提高效率。Reduce数量由`hive.exec.reducers.bytes.per.reducer`和`hive.exec.reducers.max`参数决定，可以根据业务需求调整。虽然Hive默认不支持并行执行，但通过修改配置文件，可以开启并行执行模式并设置最大并行任务数。
摘要由CSDN通过智能技术生成

        在hive中除全表扫锚外，hive中的HQL语句全部转化为MR任务

        调用Driver中的run方法开始执行编译，解析，分析(通过元数据)生成hive.jar交给hadoop执行，添加task线程启动线程，最后通过Runtime类在jvm中执行并返回结果。

Map数量

       在hadoop中通过Input和blocksize来决定MR任务的数量，例如有3个小文件在hadoop中就会生成3个Map任务但是在hive中就对其进行了优化只需要一个Map任务就可以。Hive通过combineHiveInputFormat类将这些小文件合并用以提高效率。

      t3有3个小文件而我在hive中执行查询时可以看到最终它只生成了一个Map任务




Reduce数量

    Hive将hql转化为MR任务，在日志中可以看到有两个参数分别是hive.exec.reducers.bytes.per.reducer

最低0.47元/天 解锁文章
臭小优
关注
专栏目录
(17)Hive ——MR任务的map与reduce个数由什么决定？
爱吃辣条的博客
02-14 2064
Hive ——MR任务的map与reduce个数由什么决定？
MapReduce编程模型简述（mr任务流程）
weixin_44361667的博客
03-04 494
1.在客户端执行submit()方法之前,会先去获取一下待读取文件的信息 2.将job提交给yarn,这时候会带着三个信息过去(job.split(文件的切片信息),jar.job.xml) 3.yarn会根据文件的切片信息去计算将要启动的maptask的数量,然后去启动maptask 4.maptask会调用InPutFormat()方法去HDFS上面读取文件,InPutFormat()方法会再去调用RecordRead()方法,将数据以行首字母的偏移量为key,一行数据为value传给mapper(..
启动一个MR任务
MusicDancing的博客
12-03 310
1. #!/bin/bash INPUT_DIR="/app/lbs/zz/route/*" OUTPUT_DIR="/app/lbs/zz/result" HADOOP_HOME="/home/user/zz/hadoop-navi/hadoop/bin" ${HADOOP_HOME}/hadoop fs -rmr ${OUTPUT_DIR} ${HADOOP_HOME}/hadoop bistreaming \ -input ${INPUT_DIR} \ -output ${OUT
Hive中MR（MapReduce）、Tez和Spark执行引擎对比
最新发布
My_wife_QBL的博客
08-01 955
Hive是基于Hadoop的数据仓库工具，提供了一种SQL-like的查询语言（HiveQL），用于对存储在Hadoop分布式文件系统（HDFS）中的数据进行分析。Hive将用户的查询转换为底层的执行计划，并通过不同的执行引擎进行处理。特性MapReduceTezSpark执行方式分阶段（Map/Reduce）有向无环图（DAG）基于内存的计算性能较低较高极高容错性强强强开发复杂性较高中等较低适用场景批处理交互式查询、复杂处理实时处理、机器学习资源需求适中。
5 ，调度 mr 任务 ：
孙砚秋的博客
07-29 331
1 ，目标 ： 使用 Oozie 调度 MapReduce 任务 2 ，准备 jar 包 找到一个可以运行的 mapreduce 任务的 jar 包 ( 可以用官方的，也可以是自己写的 ) 。 3 ，解压模板文件 ： ( 注意 ：解压模板变了 ) 解压 ： cd /export/servers/oozie-4.1.0-cdh5.14.0 mkdir test03 cp oozie-example...
MR工作流程
weixin_56648524的博客
08-15 710
9）MRAppMaster分配在那些NM上运行map（即yarnchild进程），reduce任务。1）执行hadoop jar命令之后，生成RunJar进程，客户端向RM申请一个job。10）运行map和reduce任务的NM，向资源共享文件系统获取job相关资源。12）job任务结束后，MRAppmaster向RM注销自己，然RM回收资源。3）客户端提交相关资源（jar，xml）到共享文件系统（HDFS）2）RM向客户端发送job资源的提交路径，生成jobID。11）运行map，reduce任务。...
Hive笔记
weixin_46267444的博客
07-11 280
基本数据类型 因为这些基本的数据类型都是 java 中的接口进行实现的，因此与 java 中数据类型是基本一致的： 数据类型的隐式转换 Hive 中基本数据类型遵循以下层次结构，按 照这个层次结构，子类型到祖先类型允许隐式转换。 数据类型的显示转换 使用cast函数进行强制类型转换，若强制类型转换失败，返回NULL hive> select cast('1111s' as int); OK NULL hive> select cast('1111' as int); OK 1111
hive入门文档笔记
06-19
### Hive入门文档笔记 #### 一、Hive简介与安装配置 Hive 是一个构建在 Hadoop 之上的数据仓库工具，它通过提供 SQL 查询功能，使得用户可以更方便地处理存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据集。...
Hive笔记归纳
qq_40076192的博客
11-14 305
Hive是基于hadoop的数据仓库工具，可以将类SQL语句转换成MR任务运行，它提供了一系列工具用来提取，转化，加载，这是一种可以存储，查询。分析存储在hadoop上大规模数据的机制。 一种离线的大数据分析工具 数据仓库的特征： 1.数据仓库一般存储的历史数据 2.数据库是为捕获数据设计的，数据仓库是为分析数据设计的 3.数据仓库大多数情况下是读数据 ...
hive笔记一：hive基础
Mavey__的博客
07-28 319
hive架构，hive数据类型，hive数据模型，元数据保存方式、Hive的优缺点、Hive与传统数据库的区别
细说Hive SQL触发MR的场景
AaronLwx的博客
05-27 4285
背景 首先，说一下结论，Hive是否触发作业跟hive.fetch.task.conversion这个参数有关 那么我们先来看看hive.fetch.task.conversion这个参数是啥 打开hive终端 hive> set hive.fetch.task.conversion; hive.fetch.task.conversion=more 通过参阅文档，得知hive...
MapReduce(十八): MR任务开发说明
dickens的专栏
09-02 2184
开发一个MR任务涉及代码编写，打包，运行，调试。指定第三方lib库，读取程序配置文件和资源文件，运行日志配置，能够读取指定源数据，并且输出结果到指定存储媒体。以下根据上述程序编写的基本条件逐一列出在hadoop中如何开发。 1.   把自己的代码打包成jar包，jar包中可包含lib目录和classes目录，lib目录中可放第三方包，classes目录中可放额外配置文件或资源文件等。通过hado
hive一运行mr程序就报错
weixin_55527323的博客
07-21 632
hive一运行mr程序就报错。
mr 工作机制
qq_43192537的博客
11-12 473
mr 工作机制
MR任务读取HFile
qq_35542970的博客
01-28 2043
近期需要开发个功能，通过MR批量读取HFile文件，并以Result的格式写入到其他存储系统中。过程中遇到了一些坑，在此记录下。 前期调研 基于MR的HBase数据读取，常用的是基于HBase官方的TableMapper实现。但是这里需要读取HFile文件，且不想经过HBase（BulkLoad场景下，读取增量数据，但不想全扫描HBase表），那这个方案就不合适啦。 ...
关于Hive SQL是否走MR任务的总结
u012667450的博客
04-28 1684
关于Hive SQL是否走MR任务的总结 Hive1.X和Hive2.X的版本，默认情况下，一般都会走MR程序。除了三种情况： 1.select * from table_name #select * 的情况不会走MR 2.select column1,column2 ... from table_name #select指定字段名的情况不会走MR（where和having除外） 3.select * from table_name limit N #select * 限制输出条数不会走MR 当然，以上说
hive中mr个数判断
qq_18219755的博客
06-08 1727
对于 JOIN 操作： Map： 以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合 以 JOIN 之后所关心的列作为 Value，当有多个列时，Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪个表。 按照 Key 进行排序。 Shuffle： 根据 Key 的值进行 Hash，并将 Key/Value 对...
hive在YARN下执行mr任务问题
mrking0105的专栏
09-15 1221
错误和解决方案都可以参加该链接： http://grokbase.com/p/cloudera/cdh-user/126wqvfwyt/hive-refuses-to-work-with-yarn 现象就是，当hive启动mr任务是报错如下： [quote] Error during job, obtaining debugging information... Examinin...
揭秘Hive执行机制：MR MapReduce详解
4. **结果输出**: 最终，reduce任务将计算出的结果写回Hive Metastore，或者用户指定的输出位置，形成了查询结果，即`pageid`、`age`及其对应的行计数。 总结来说，Hive通过巧妙地利用Hadoop MapReduce框架，实现了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值