数据本地化策略

最新推荐文章于 2021-02-20 08:32:29 发布
最新推荐文章于 2021-02-20 08:32:29 发布
阅读量1.8k 收藏 3
点赞数 2
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenshengsu1990/article/details/94625194
版权

数据本地化: 数据存储与数据计算都在同一个节点上进行

      1.当JobTracker接收到MR任务之后，会去访问NameNode获取要处理的文件信息

      2.NameNode将文件信息(包括文件大小,存储位置,切块信息)返回给JobTracker

      3.JobTracker收到文件信息之后会将文件进行切片（split中只包含切片信息比如切片起点,切片大小位置等,不包含实际数据），一般习惯上，会将切片和切块设置的一样大。每一个切片会分给一个MapTask

      4.JobTracker会把MapTask分发到TaskTracker上来执行。在分发的时候，哪一个DataNode上有对应的Block，那么就把MapTask分发到这个节点上 - 数据本地化

      5.数据本地化的目的：减少对网络资源的消耗

 

 

帅成一匹马
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
满足本地化计算的集群资源调度策略
01-14
将本地化计算分成节点本地化计算和机架本地化计算2个层次，分别称作节点本地化计算和机架本地化计算。结合主导资源公平调度策略 DRF 和 ...通过数据实验分析了在DDRF调度策略下本地化计算延迟对作业执行效率的影响。
数据本地化策略和Job的执行流程
大头鱼
06-25 369
一、 案例 Mapper类： public class WordCountMapper extends Mapper<LongWritable, Text, Text, LongWritable> { // key -- 当前行的开始位置在整个文件中的偏移量 // value -- 当前行的内容 // context -- 环境对象 public void map(LongWr...
数据本地化
ADreamClusive的博客
05-26 2721
1 SQLite数据库1.1 SQLiteSQLite是一款轻量级的数据库，它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等主流的操作系统，同时，能够跟很多程序语言相结合，比如Tcl、C#、PHP、Java等，还有ODBC接口，同样，比起Mysql、PostgreSQL...
31、数据本地化
weixin_30830327的博客
07-29 605
一、数据本地化1、背景数据本地化对于Spark Job性能有着巨大的影响。如果数据以及要计算它的代码是在一起的，那么性能当然会非常高。但是，如果数据和计算它的代码是分开的， 那么其中之一必须到另外一方的机器上。通常来说，移动代码到其他节点，会比移动数据到代码所在的节点上去，速度要快得多，因为代码比较小。Spark也正是 基于这个数据本地化的原则来构建task调度算法的。 数据本地化，指...
Spark调优：数据本地化（调优）
不花的花和尚的博客
10-19 761
数据本地化的级别： PROCESS_LOCAL task要计算的数据在本进程（Executor）的内存中。 NODE_LOCAL task所计算的数据在本节点所在的磁盘上。 task所计算的数据在本节点其他Executor进程的内存中。 NO_PREF task所计算的数据在关系型数据库中，如mysql。 RACK_LOCAL task所计算的数据在同机架的不同节点的磁盘...
Spark性能调优-数据本地性
网络空间发展与战略研究
12-04 606
性能调优 数据本地性 Spark在Driver上，对Application的每一个stage的task，进行分配之前，都会计算出每个task要计算的 是哪个分片数据，RDD的某个partition；Spark的task分配算法，优先，会希望每个task正好分配到它要 计算的数据所在的节点，这样的话，就不用在网络间传输数据； 但是呢，通常来说，有时，事与愿违，可能t
在线休闲棋牌行业报告：“棋牌+休闲”双引擎，家乡互动差异化运营和本地化策略引领行业增长.pdf
08-03
在线休闲棋牌行业报告：“棋牌+休闲”双引擎，家乡互动差异化运营和本地化策略引领行业增长.pdf
跨境电商社交媒体营销本地化策略研究.pdf
07-10
跨境电商社交媒体营销本地化策略研究.pdf
scrapy抓取数据存储至本地mysql数据库-大众点评爬虫.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
模块化数据中心机房.doc
最新发布
03-26
据赛迪顾问发布的《中国数据中心布局特点与发展策略研究》指出，IDC行业进入了产业升级的关键时期，正由资源消耗型向应用服务型升级和转型，数据中心整合升级加速，运营商与IDC服务商加快数据中心全国布局，数据中心...
巧用MapReduce+HDFS，海量数据去重的五大策略
SprintfWater的专栏
03-26 1316
MapReduceHDFSHadoop存储HbaseDedoop云计算 摘要：随着收集到数据体积的激增，去重无疑成为众多大数据玩家面对的问题之一。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展性有所帮助。在存储架构中，删除重复数据的常用方法包括哈希、二进制比较和增量差分；而本文专注的是使用MapReduce和HDFS对数据进行去重。 随着存储数据信息量的飞速增长，越来越多
数据的本地化存储
dragongd的博客
03-25 792
数据存储 因为之前的笔记丢失/(ㄒoㄒ)/~~，所以博主就简单的写个mindnote说明下数据存储这一块（其实是懒）注：不包含数据库存储，数据库存储有空再补上
MapReduce 本地化优先策略
tianqinglei的博客
08-19 1259
http://note.youdao.com/noteshare?id=db6a42debfcb09a1a6d54a497e760f68&sub=649D30D6AD144AB8AC13802E61B47E3E 1、map具备本地化优势策略  map执行时优先选择在存储HDFS数据的服务器上执行，其次在同机架的服务器上执行，最次在其他机架服务器上执行。  hadoop执行第一步是将输入数
数据本地化级别
matiji66
06-09 1639
Property Name Default Meaning       spark.locality.wait 3s How long to wait to launch a data-local task before giving up and launching it on a less-local node. The same
Hadoop系列之MapReduce 数据本地化 (29)
热门推荐
02-20 4万+
MapReduce 数据本地化 数据本地化是指把计算移动到数据所在节点上进行执行的过程，也就是通常所说的 “移动计算而不是移动数据”。移动计算比移动数据具有更大的优势，它可以降低网络开销，增加系统的整体吞吐量。 数据本地化的概念 让我们来理解一下数据本地化的概念，以及什么 MapReduce 数据本地化。 Hadoop 主要的缺点是跨交换网络传输巨量的数据。为了克服这个缺点，Hadoop 提出了数据本地化概念。数据本地化的指的是把计算移动到尽可能离数据近的地方执行，因为移动计算比移动巨量数据要更高效，它可以
【读书笔记】MapReduce之数据本地化
潇山远
04-15 836
读书时遇到喜欢的内容，记下笔记，以加深自己的印象，将来亦可以回味。 以下内容摘自Tom White的《Hadoop权威指南》。 数据本地化特性是MapReduce的核心特征，并因此而获得良好的性能。 意识到网络带宽是数据中心环境最珍贵的资源（到处复制很容易耗尽网络带宽）之后，MapReduce通过显式网络拓扑结构保留网络带宽。 Ps：关于什么是显式网络拓扑结构博主现在也不懂，更不明...
数据库PostrageSQL-本地化
逍遥云恋
12-12 423
Chapter 23. 本地化 本章从管理员的角度描述可用的本地化特性。PostgreSQL支持两种本地化方法： 利用操作系统的区域（locale）特性，提供对区域相关的排序顺序、数字格式、 翻译过的信息和其它方面。这种方法在Section 23.1和Section 23.2中。 提供一些不同的字符集来支持存储所有种类语言的文本，并提供在客户端和服务器之间的字符集转换。这种方法在Section 23.3中。 23.1. 区域支持 区域支持指的是应用遵守文化偏好的问题，包括字母表、排序、数字格式等。Pos
【Big Data 每日一题20180917】数据本地化的几种级别
tianyeshiye
09-18 243
PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor执行，数据在executor的BlockManager中；性能最好（图1） RACK_LOCAL：机架本地化，数据和task在一个机架的两个节点上；数据需要通过网络在节点之间进行传输（图2） NODE_LOCAL：节点本地化，代码和数据在同一个节点中；比如说，...
mysql日期本地化_MySQL全球化和本地化
weixin_42190623的博客
02-05 90
1. 全球化和本地化查看所支持的字符集完整列表SQL> show character set;显示所有可用的校对，以及它们适用的字符集SQL> show collation;确定数据库所用的字符集和校验SQL> show variables like 'character%';SQL> show variables like 'collation%';创建表指定字符集SQL...
邮件系统本地化部署优势
09-10
首先，本地化部署使得企业能够更好地掌握数据的安全性和隐私保护。由于邮件系统的数据直接保存在企业自己的服务器上，企业可以更加灵活地控制和管理数据的访问权限，减少了数据泄露的风险。此外，企业可以根据自身的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值