Hadoop 副本存储策略的源码修改和设置

已于 2022-05-23 00:06:15 修改
阅读量1.1k 收藏 1
点赞数
文章标签： hadoop hdfs big data
于 2021-03-27 22:30:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28371057/article/details/115273153
版权
本文深入探讨Hadoop的BlockPlacementPolicy，尤其是BlockPlacementPolicyDefault的源码，讲解副本策略的实现细节，包括处理favoredNodes、三副本选择。同时讨论如何修改HDFS的默认副本放置机制，以及RackAwareness机架感知的重要性。
摘要由CSDN通过智能技术生成

Table of Contents

大多数的叫法都是副本放置策略，实质上是HDFS对所有数据的位置放置策略，并非只是针对数据的副本。因此Hadoop的源码里有block replicator(configuration)、 BlockPlacementPolicy(具体逻辑源码)两种叫法。

主要用途：上传文件时决定文件在HDFS上存储的位置（

最低0.47元/天 解锁文章
青年夏日科技
关注
修改hadoop源码后，hadoop和spark的编译过程
Amber_amber的专栏
11-12 2440
近期对hadoop2.0源码做了一些修改，根据业务需要，添加了一点小小的功能。而且我们的hadoop2.0环境上同时运行着MapReduce和spark计算框架，所以hadoop源码的修改同时涉及到了hadoop的重新编译，以及spark的重新编译。下面是对编译过程的一点记录。编译的主要难点和关键在对spark的编译。下面会详细介绍。 版本： hadoop： cdh5.1.0-hadoop2.
Hadoop源代码修改编译执行
jostey的专栏
11-01 2521
针对的是hadoop 0.20.2版本,windows 平台。Linux可以参照着来弄 （之前必须安装有jdk，ant，cygwin，并且配置好环境变量，使得cmd命令行下可以执行相应的命令）   1.首先到官网上把该版本的tar包下载下来，并解压到$HADOOP_HOME目录下 2.进入到$HADOOP_HOME/src目录中，修改saveVersion.sh文件，因为原saveVers
windows下hadoop本地测试需要修改的源码
07-04
将两个类org.apache.hadoop.io.nativeio.NativeIO.java，org.apache.hadoop.mapred.YARNRunner.java 放到工程的src下，两个类的package不修改，否则覆盖不掉原来的hadoop的那两个类
Hadoop3：HDFS-存储优化之异构存储（冷热数据分离）
最新发布
Brave_heart4pzj的博客
07-14 1165
Hadoop
修改Hadoop源码的搜索技巧
劫无忧
11-23 1267
以前在小米基础架构组实习时，修改过部分Hadoop的源码。其中一个很有用的技巧是根据要查找的点，搜索源码中所有和该点有关的代码 1. find . -name “*.java” | xargs grep main.py 搜索对象是java源文件， 搜索的关键字为main.py，这样会搜索出main.py在所有java代码中的位置 2. egrep main.py -r -I *从所有的非二
hadoop 2.7.3 源码分析超简单源码修改测试
奋斗吧_-小青年
06-01 1020
前言 在上一节中我们搭建起了测试环境，这一节我们根据前边序言中的内容，修改一下nameNode的启动代码看是否生效。 修改代码 在工程 hadoop-hdfs-project中的hadoop-hdfs中找到源文件NameNode.java（在包org.apache.hadoop.hdfs.server.namenode 内） 在main 函数内添加以下代码 System.out.pri...
基于Hadoop的分布式文件存储系统源码.zip
12-13
《深入理解Hadoop分布式文件存储系统源码》 在当今大数据时代，Hadoop作为开源的分布式计算框架，其核心组件之一就是Hadoop Distributed File System（HDFS），一个设计用于处理和存储海量数据的分布式文件系统。...
hadoop-2.8.1源码
10-31
本文将围绕"Hadoop 2.8.1源码"这一主题，带你深入理解这个强大系统的核心机制，揭示其背后的分布式存储和计算原理。 Hadoop的核心由两个主要组件构成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是...
实战hadoop中的源码
12-15
Hadoop是开源的分布式计算框架，它允许在大规模集群上存储和处理海量数据。通过研究Hadoop的源码，开发者可以深入了解其内部工作原理，优化系统性能，并定制化开发满足特定需求的解决方案。 【描述】"实战hadoop，...
HDFS的 datanode节点修改副本存储指定节点存储的策略源码
sinat_28371057的博客
01-31 917
dfs.datanode.data.dir 配置数据存放的路径 在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的dfs.datanode.data.dir参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是Hard Disk Drive）和SSD（全称Solid State Drives，就是我们熟悉的固态硬盘）上。 注意：如下的存储配置里面使用..
hadoop 2.7.3 源码分析（二）：超简单源码修改测试
iblks
11-26 3593
前言在上一节中我们搭建起了测试环境，这一节我们根据前边序言中的内容，修改一下nameNode的启动代码看是否生效。修改代码在工程 hadoop-hdfs-project中的hadoop-hdfs中找到源文件NameNode.java（在包org.apache.hadoop.hdfs.server.namenode 内）在main 函数内添加以下代码System.out.println("Hello
java二次开发流程，源码修改流程（Hadoop）
m0_55990500的博客
02-28 4114
java源码修改全流程
Hadoop副本存放策略
Dimples.
11-10 2354
副本存放策略：      基于机架感知当复制因子为3时，HDFS的放置策略是在编写器位于datanode上时将一个副本放在本地计算机上，否则放在随机datanode上，另一个副本放在另一个（远程）机架上的节点上，最后一个在同一个远程机架的不同节点上。此策略可以减少机架间写入流量，从而提高写入性能。机架故障的可能性远小于节点故障的可能性; 此策略不会影响数据可靠性和可用性保证。但是，它确实减少了...
Hadoop副本放置策略+读写流程+磁盘均衡+安全模式+hdfs dfs命令
nituoge的博客
12-08 1501
一. Hdfs副本放置策略 假设设置为3个副本: 第一个副本: 1) 假如上传节点本身为DN节点，优先放置本节点； 2) 否则就随机挑选一台磁盘不太慢,CPU不太繁忙的节点； 第二个副本: 放置在与第一个副本的不同机架的节点上 第三个副本: 放置在与第二个副本的相同机架的不同节点上 CDH机架有一个默认机架 虚拟的概念,一般不调整这种默认机架 二. Client读写流程:站在客户端的角度，读...
下载Hadoop源代码，自己编译
My Sunshine
07-23 776
准备工作 Unix 系统， Mac和Linux都可以 Jdk 1.6及其以上 Maven （Maven的Mac安装教程在oozie安装里有介绍：https://blog.csdn.net/lucylove3943/article/details/80673962） Protocol Buffer （Protobuf，安装教程在导Hadoop源码里面有介绍：https://blog.csdn...
源码编译 - hadoop3.31
weixin_45441077的博客
03-04 467
hadoop-3.31 源码编译与报错处理
6.Hadoop之源码解析
hutc_Alan的博客
04-04 2741
内容过于繁杂，建议去看尚硅谷hadoop官方视频和笔记 视频：https://www.bilibili.com/video/BV1Qp4y1n7EN?spm_id_from=333.337.search-card.all.click 笔记和其余文件：链接：https://pan.baidu.com/s/10iGIiUuFV5JaOhozUvoNcQ 提取码：fgnd 0.RPC 通信原理解析 0）回顾 1）需求： 模拟 RPC 的客户端、服务端、通信协议三者如何工作的 2）代码编写： （1）在 HDFS
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青年夏日科技

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值