在 Map[Reduce] 的 setup 中读取 HDFS 文件夹信息

最新推荐文章于 2021-02-24 10:33:50 发布
最新推荐文章于 2021-02-24 10:33:50 发布
阅读量6.2k 收藏 5
点赞数 1
分类专栏： Hadoop MapReduce Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jelek/article/details/14523641
版权
本文介绍了如何在MapReduce的setup阶段读取HDFS上的文件夹信息，避免通过额外Map任务。以/user/data/userinfo目录下的用户信息列表为例，每个文件包含格式为'userid + + [其他参数]'的数据。示例代码展示了在Map类的setup方法中进行读取，但要注意，这会导致数据被重复读取与处理的次数等于Map任务的数量。
摘要由CSDN通过智能技术生成

        有时候，我们想在 Map 或者 Reduce 执行前读取一些数据信息（量相对比较小），又不想通过另一个 Map 来读取，就可以在 该Map 的 setup 中来完成该操作。


相关定义

1.在HDFS上某一文件夹下存放用户信息列表：

/user/data/userinfo/part-00000

/user/data/userinfo/part-00001

...

/user/data/userinfo/

最低0.47元/天 解锁文章
jelek
关注
专栏目录
MapReduce读文件
兜里有包包
08-09 4214
参考 读文件 在Driver中读本地 在map或reduce中读hdfs Streaming中的-file
MapReduce(十五): 从HDFS读取文件的源码分析
dickens的专栏
09-02 1940
从HDFS读取文件的源码分析
mapreduce的cleanUp和setUp的特殊用法（TopN问题）和常规用法
阿华田的博客
04-21 6494
特殊用法 我们上来不讲普通用法，普通用法放到最后。我们来谈一谈特殊用法，了解这一用法，让你的mapreduce编程能力提高一个档次，毫不夸张！！！扯淡了，让我们进入正题： 我们知道reduce和map都有一个局限性就是map是读一行执行一次，reduce是每一组执行一次,但是当我们想全部得到数据之后，按照需求删选然后再输出怎么办？ 这时候只使用map和r...
HDFS与MapReduce
weixin_41643439的博客
03-03 2070
HDFS基本概念 1、HDFS设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析 2、概念和特性 概念：HDFS是一个分布式的文件系统。 特性： （1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64...
Mapper类/Reducer类中的setup方法和cleanup方法以及run方法的介绍
weixin_30745553的博客
05-07 329
　　在hadoop的源码中，基类Mapper类和Reducer类中都是只包含四个方法：setup方法，cleanup方法，run方法，map方法。如下所示： 其方法的调用方式是在run方法中，如下所示： 　　可以看出，在run方法中调用了上面的三个方法：setup方法，map方法，cleanup方法。其中setup方法和cleanup方法默认是不做任何操作，且它们只被执行一次...
MapReduce中的Map，Reduce个数设定
热门推荐
Dzhantao的博客
07-03 1万+
一、Map的个数     在map阶段读取数据前，FileInputFormat会将输入文件分割成spilt，而spilt的个数决定了map的个数（一个spilt分片对应一个map）。影响map个数的因素只要有：     1）文件的大小。比如，当文件大于128M（block默认值）而小于256M时，文件会被划分成两个spilt。     2）文件的个数。FileInputFormat按文件进...
GDAL-2.4.0 获取Hadoop-3.1.2 hdfs tif文件信息
newston的博客
04-18 1765
hadoop-3.1.2安装及GDAL2.4.0读取tif文件信息
【MapReduce】Mapreduce基础知识整理 (三) shuffle机制、MapJoin、ReduceJoin、倒排序索引
人生所向，皆是美好
12-12 777
1. Mapreduce的Shuffle机制 1.1概述 一个mapreduce过程： map——>shuffle(排序、分组、分区、combiner)——>reduce MapReduce 中，mapper 阶段处理的数据如何传递给 reducer 阶段，是 MapReduce 框架中 最关键的一个流程，这个流程就叫 Shuffle Shuffle: 数据混洗 ——(核心机制:数据...
Map Join与Reduce Join
weixin_49063354的博客
08-12 193
Join多种应用 1.Reduce Join 1.1.Reduce Join工作原理 ​ Map端的主要工作，为来之不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段依据打标志分开），最后进行合并就OK了。 1.2.Reduc Join案例实操 ​ 需求 ​ 订单数据表o
MapReduce的实现细节
01-06
MapReduce的实现细节，对mapreduce的具体实现讲解
hdfs-mapreduce处理流程（二）
Java架构师联盟
02-25 383
1、问题：在这张图中有几个工人,几个工厂 工人: 4 --map处理程序 厂: 3 --reduce相当于最后的工厂 组装 2、map端进行了什么事:砍树这一步叫做split 过程 砍树—把我们hdfs的文件进行切割(砍树) ----- 默认与block块的大小一 致(128M) split=block=maptask 2.1当然为了更好的处理，在计算资源充足的情况下，把split变大设置为25...
mapreduce的setup方法_mapreduce的setup方法_mapreduce流程
weixin_42318815的博客
02-07 799
mapTask运行机制mapTask并行度：同时存在几个mapTaskTextInputFormat中的getSplits方法返回的是切片数目，有多少切片就有几个mapTask。获取文件的切片的几个参数控制：mapred.min.split.size 没有配置的话默认值是1mapred.max.split.size 没有配置的话默认值是 Long.MAX_VALUE如果没有配置上面这两个参数，我们...
mapreduce的setup方法_mapreduce流程
weixin_35672450的博客
01-17 285
mapTask运行机制mapTask并行度：同时存在几个mapTaskTextInputFormat中的getSplits方法返回的是切片数目，有多少切片就有几个mapTask。获取文件的切片的几个参数控制：mapred.min.split.size 没有配置的话默认值是1mapred.max.split.size 没有配置的话默认值是 Long.MAX_VALUE如果没有配置上面这两个参数...
Mapreduce setup和clearup解析
BehandTheTime的博客
02-22 1013
hadoop中的MapReduce框架里已经预定义了相关的接口，其中如Mapper类下的方法setup()和cleanup()。 setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！
mapreduce 中setup()和cleanup()
qq_38723455的博客
02-24 411
hadoop中的MapReduce框架里已经预定义了相关的接口，其中如Mapper类下的方法setup()和cleanup()。 setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！ cleanup(),此方法被MapReduce框架仅且执行一次，在执行完毕Map任务后，进行相关变量或资源的释放工作。若是将释
mapreduce的setup方法_MapReduce setup map(reduce) cleanup示例
weixin_31481495的博客
02-01 461
继承Mapper类可以重写三个方法1.setup每一个map在创建时执行的方法，也就是说该方法只执行一次，一般用来做一些准备工作，如获得文件名等2.map真正执行分类操作的方法。3.cleanup在map完成任务销毁时执行的方法，也只执行一次，一般用来做一些收尾工作这三个方法都可以像reduce传送数据代码 取每个电影二十条数据(排序前面写过了，就不写了)：要注意map的个数，如果有多个ma...
大数据手册(Spark)--Spark SQL and DataFrames
WilenWu
01-03 1681
文章目录Spark 初始化弹性分布式数据集 (RDD)Spark SQLDataFrameDataSetSpark Streaming Spark 初始化 spark 交互式执行环境 spark-shell --master <master-url> # scala pyspark --master <master-url> # python 下面介绍几种常用Spar...
mapreduce的setup方法_mapreduce算法中如何使用setup()和cleanup()进行优化
weixin_31938727的博客
01-27 568
Mapper类的setup()函数在Mapper类的run()函数中被调用。向hadoop提交job后，hadoop会在MapTask的runNewMapper()或者runOldMapper()函数中使用反馈机制 实例化具体的Mapper子类，然后调用这个对象的run()函数，其中setup()函数就在这个函数的开始被调用，因为hadoop会向 setup()函数中传递Configuration...
python 读取hdfs文件夹中的全部文件并打印出来
最新发布
05-26
你可以使用 `pyarrow` 库来读取 HDFS 文件夹中的全部文件，并打印出它们的内容。以下是一个示例代码： ```python import pyarrow.hdfs as hdfs # 连接 HDFS hdfs_host = 'hdfs://<HDFS_HOST>:<HDFS_PORT>' fs = ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值