【读书笔记】MapReduce之数据本地化

标签: hadoop mapreduce 数据本地化 显式网络拓扑结构
9人阅读 评论(0) 收藏 举报
分类:

读书时遇到喜欢的内容,记下笔记,以加深自己的印象,将来亦可以回味。
以下内容摘自Tom White的《Hadoop权威指南》。


数据本地化特性是MapReduce的核心特征,并因此而获得良好的性能。
意识到网络带宽是数据中心环境最珍贵的资源(到处复制很容易耗尽网络带宽)之后,MapReduce通过显式网络拓扑结构保留网络带宽。


Ps:关于什么是显式网络拓扑结构博主现在也不懂,更不明白为什么MapReduce可以通过显式网络拓扑结构来保留带宽。如果以后博主弄明白了之后会回来更新这篇博客,也欢迎各位博友留下高见,或者推荐书籍和文章。

查看评论

MapReduce 本地化优先策略

http://note.youdao.com/noteshare?id=db6a42debfcb09a1a6d54a497e760f68&sub=649D30D6AD144AB8AC13802E61B...
  • tian_qing_lei
  • tian_qing_lei
  • 2017年08月19日 15:37
  • 184

hadoop 如何做到map任务本地化

Hadoop继承了Google的MapReduce的特性,具有map任务最大化本地化的能力,下面具体说下它是如何做到的。在hadoop中,有很多taskScheduler,这里以默认的JobQueue...
  • dboy1
  • dboy1
  • 2011年03月17日 16:48
  • 5026

Hadoop数据本地化

首先需要知道,hadoop数据本地化是指的map任务,reduce任务并不具备数据本地化特征。       通常输入的数据首先将会分片split,每个分片上构建一个map任务,由该任务执行执行用户自...
  • qq_36864672
  • qq_36864672
  • 2017年11月08日 09:43
  • 232

数据本地化级别

Property Name Default Meaning       spark.locality.wait 3s How long to wait to launch a ...
  • matiji66
  • matiji66
  • 2016年06月09日 16:57
  • 899

《数学之美》读书笔记和知识点总结

文字和数字的起源 很久以前人类以不同的叫声表示不同的信息,达到彼此交流的目的,当所要表达的信息太多时,叫声已经不够用了,于是文字产生了。   文字:知道“罗塞塔”石碑的典故。 信息冗余的重要性...
  • wenyusuran
  • wenyusuran
  • 2014年11月04日 10:10
  • 1208

Hadoop权威指南读书笔记(1) - MapReduce和HDFS简介

最近开始读>,于是打算写点读书笔记,书电子版见网盘,密码v66s。
  • labud
  • labud
  • 2016年07月19日 18:36
  • 682

浪潮之巅读书笔记(五)

第二十一章 金融风暴 1.金融危机将直接影响到科技行业。金融风暴优胜劣汰,会发现很多商机,传统的价值回归,世界格局改变,并且让一些有潜力的公司有更多的空间和时间发展,例如facebook在金融危机阶...
  • necrazy
  • necrazy
  • 2013年11月08日 10:19
  • 1174

数据本地化存储

在程序开发中,数据层永远是程序的核心结构之一。我们将现实事物进行抽象,使之变成一个个数据。对这些数据的加工处理是代码中能体现技术水平的一大模块,比如数据的请求、解析、缓存、持久化等等。适当的对数据进行...
  • LiMi512
  • LiMi512
  • 2016年07月05日 10:17
  • 479

MapReduce基础开发之四参数传递

Map和Reduce函数是在各节点进行,如果要在MapReduce数据加工中使用共同参数,要如何传参呢?方法有二: 1、Configuration类的set和get的方法读取xml/txt文件设置...
  • fjssharpsword
  • fjssharpsword
  • 2016年06月29日 15:40
  • 2395

Mapreduce----<<数学之美>>

Mapreduce
  • wxcdzhangping
  • wxcdzhangping
  • 2014年04月15日 11:00
  • 2080
    个人资料
    等级:
    访问量: 252
    积分: 98
    排名: 142万+
    文章分类
    文章存档