MR-5.MapReduce分布式缓存（Distribute Cache）

最新推荐文章于 2022-02-22 18:47:09 发布
最新推荐文章于 2022-02-22 18:47:09 发布
阅读量1.8k 收藏
点赞数
分类专栏： 分布式数据存储技术 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenfuli/article/details/50589398
版权

DistributeCache是Hadoop的分布式文件缓存类，是一个提供给Map/Reduce框架的工具，用来缓存文件（文件，归档，jars等），DistributeCache将拷贝缓存的文件到slaves节点在任何job在节点上执行之前，每个存储在HDFS中的文件被放到缓存后都可以通过一个符号链接使用。

 

通过该类主要可以完成两方面的事情

（1）       完成分布式文件共享

（2）       MR的Join操作，将小表放入cache中，可提高效率

艾文教编程
关注
专栏目录
MapReduce使用DistributedCache
lizhang310的专栏
04-25 1620
会有这样一种场景：youyi
mr读取mysql_MR总结(一)-Mapreduce原理解析
weixin_34044446的博客
01-27 262
本文主要内容： ★理解MapReduce基本原理 ★了解MapReduce应用的执行 ★理解MapReduce应用的设计 一、了解MapReduce MapReduce是一个框架，能够利用许多普通计算机对大规模的数据集进行高并发的、分布式的算法处理。 用户的任务是实现mapper与reducer，这两本文主要内容：★理解MapReduce基本原理★了解MapReduce应用的执行★理解MapRed...
在mapreduce任务中使用distributedCache
ATCO[这里，只是顺手插曲]
06-19 1351
背景：在使用mapreduce时，各个map之间需要共享一些信息。如果信息不大，可以保存在conf中。但是需求是在各个map之间共享文件或者tar包 使用distributedCache可以满足这个需求： distributedCache可以把HDFS上的文件（数据文件、压缩文件等等）分发到各个执行task的节点。执行map或者reduce task的节点就可以在本地，直接
MapReduce中的分布式缓存（DistributedCache）
g1607058603的专栏
02-27 1069
1、简介 DistributedCache是Hadoop为MapReduce框架提供的一种分布式缓存机制，它会将需要缓存的文件分发到各个执行任务的子节点机器中，各个节点可以自行读取本地文件系统上的数据进行处理。 2、符号链接 可以在原本HDFS文件路径上+“ #somename”来设置符号连接（相当于一个快捷方式）。 这样在MapReduce程序中可以直接通过： File file = ...
Yarn（MapReduce 2.0）下分布式缓存（DistributedCache）的注意事项
weixin_34216107的博客
03-08 204
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据-Hadoop-搭建(一)：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机）【CentOS6】【独立安装Apache Hadoop】
u013250861的博客
01-14 1512
大数据-Hadoop：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机） 一、VMware、Linux虚拟机环境准备 1、网络配置 1.1 查看网络IP和网关 1.1.1 查看虚拟网络编辑器 1.1.2 修改ip地址 1.1.3 查看网关 1.1.4 查看windows环境的中VMnet8网络配置(控制面板-网络和Internet-更改适配器选项) 1.2 配置Linux系统的网络IP和网关 1.2.1 查看当前网络IP 1.2.2 修改当前Linux系统的IP地址为固定地址 1.2.3
大数据面试题--数仓
weixin_42759988的博客
02-22 9318
目录 数据仓库理论 数据分层 E T L 星形模型与雪花模型的区别？ 维度建模（dimensional modeling）： 数据仓库项目最重要或需要注意的是什么，以及如何处理？ 关系建模与维度建模 拉链表： 维度表和事实表 数据仓库中的维度和粒度 维度建模步骤： 如何构建数据仓库？ Flink面试题 Flink的重启策略： Flink集群规模 Flink 集群有哪些角色？各自有什么作用？ TODO说说 Flink 资源管理中 Task Slot 的概念 说说 Fli
centos 7+hadoop 2.7.3
网维的木棉后记
07-21 990
hadoop 2.7.3 maven protobuf zookeeper ssh
Hadoop常见问题及解决办法
大数据框架Hadoop学习
05-15 754
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc...
37 MAPREDUCE中的DistributedCache应用
阿甘兄
08-08 370
map端join案例需求 实现两个“表”的join操作，其中一个表数据量小，一个表很大，这种场景在实际中非常常见，比如“订单日志” join “产品信息”。 分析 原理阐述： 适用于关联表中有小表的情形； 可以将小表分发到所有的map节点，这样，map节点就可以在本地对自己所读到的大表数据进行join并输出最终结果 可以大大提高join操作的并发度，加快处理速度 示例： 先在mapper类中预...
mapreduce分布式缓存
叶晓江 分布式计算 技术笔记
01-07 698
概述 作用应用场景示例 作用 将hdfs中的文件copy到本地map/reduce程序端，供map/reduce端代码使用 应用场景 大文件与小文件合并操作，如大文件10G，小文件10M，并且输入格式可以完全不一样 示例 主函数端代码public static void main(String[] args) throws Exception {
MapReduce的分布式缓存
派大星的技术人生
05-11 273
官网文档 http://hadoop.apache.org/docs/r2.6.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/DistributedCacheDeploy.html 作用 （1）一个集群中运行多版本mr job （2）mr框架版本滚动升级 （3）job启动速度提升 ...
mapreduce的map端的分布式缓存
lds_include
06-23 441
mapreduce的map端的分布式缓存 必要性： 有的时候我们需要完成一些类似于数据库的两表join的效果，这个时候就能够通过将其中的一个表提前加载到map中来，这个时候有了将一张表的数据缓存到内存中来，方便map的快速读取。这里有两种方法可以实现这个效果，下面就一个一个讲解。 注意:想要将表缓存进内存中，那么表的大小不能够超过缓存的大小，否则就会造成数据溢出，影响数据的准确性。 步骤： 1...
mr 分布式缓存学习
快乐的瑾
07-14 710
http://my.oschina.net/leejun2005/blog/206341
MapReduce基础开发之十一DistributedCache使用
医疗影像检索
12-27 2655
1、需求场景：    过滤无意义的单词后再进行文本词频统计。处理流程是： 1）预定义要过滤的无意义单词保存成文件，保存到HDFS中； 2）程序中将该文件定位为作业的缓存文件，使用DistributedCache类； 3）Map中读入缓存文件，对文件中的单词不做词频统计。 该场景主要解决文件在Hadoop各task之间共享的问题，用conf传递参数不能传输大文件，于是通过Distribut
mapReduce使用分布式缓存机制
Inequality-Sign的博客
11-23 1061
由于有时候reduce value值数量的不确定性可能会造成数据倾斜,可以考虑使用分布式缓存机制，仅用map进行输出。mapreduce中具体的函数为job.addCacheFile(new URI("file:///Users/inequality/tmp/input/join/pro.txt"));此函数可以在map运行之前在工作目录加入缓存文件，供map使用具体程序代码：实现采购信息和商品信息
Hadoop为MapReduce提供的分布式缓存机制
YF_Li123的博客
09-07 753
概述 Hadoop为MapReduce框架提供了一种分布式缓存机制，可用于Job、Map Task或Reduce Task之间的数据共享。分布式缓存机制会将需要缓存的文件分发到各个执行任务的子节点的机器中，这样各个节点就可以自动读取本地文件系统上的数据进行处理 使用方式 添加分布式缓存文件 旧版本中DistributedCache已经被注解为过时，使用新版API方式如下 // 不同文件类型的添加方法 job.addArchiveToClassPath(archive)...
Hadoop 2.9.0 MapReduce配置详解：mapred-default.xml与mapred-site.xml
5. **mapreduce.map.sort.spill.percent**：这是一个软限制，当序列化缓冲区达到这个百分比（默认为0.80或80%）时，后台线程将开始溢写内容到磁盘。即使已经有溢写正在进行，也不会阻塞收集，所以实际溢写的数据量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾文教编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值