Hadoop 副本存储策略的源码修改和设置

已于 2022-05-23 00:06:15 修改
阅读量1.1k 收藏 1
点赞数
文章标签： hadoop hdfs big data
于 2021-03-27 22:30:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28371057/article/details/115273153
版权
本文深入探讨Hadoop的BlockPlacementPolicy，尤其是BlockPlacementPolicyDefault的源码，讲解副本策略的实现细节，包括处理favoredNodes、三副本选择。同时讨论如何修改HDFS的默认副本放置机制，以及RackAwareness机架感知的重要性。
摘要由CSDN通过智能技术生成

Table of Contents

大多数的叫法都是副本放置策略，实质上是HDFS对所有数据的位置放置策略，并非只是针对数据的副本。因此Hadoop的源码里有block replicator(configuration)、 BlockPlacementPolicy(具体逻辑源码)两种叫法。

主要用途：上传文件时决定文件在HDFS上存储的位置（

最低0.47元/天 解锁文章
基于Apache Hadoop生态的Kudu设计：Hadoop存储层的快速数据分析解决方案源码
10-01
Kudu的设计源码中包含了多个文件，这些文件展示了Kudu作为Hadoop存储层组件的复杂性和多功能性。文件涉及多种编程语言，包括但不限于C、Java、Shell、Python、Scala、JavaScript、CSS和HTML。C和Java通常用于构建...
Python+Spark+Hadoop大数据基于用户画像电影推荐系统毕业源码 - 副本.zip
最新发布
03-13
标题中的“Python+Spark+Hadoop大数据基于用户画像电影推荐系统毕业源码”指的是一个使用Python、Apache Spark和Apache Hadoop构建的大数据处理项目，旨在实现一个基于用户画像的电影推荐系统。这个系统可能利用大...
windows下hadoop本地测试需要修改的源码
07-04
将两个类org.apache.hadoop.io.nativeio.NativeIO.java，org.apache.hadoop.mapred.YARNRunner.java 放到工程的src下，两个类的package不修改，否则覆盖不掉原来的hadoop的那两个类
修改hadoop源码后，hadoop和spark的编译过程
Amber_amber的专栏
11-12 2468
近期对hadoop2.0源码做了一些修改，根据业务需要，添加了一点小小的功能。而且我们的hadoop2.0环境上同时运行着MapReduce和spark计算框架，所以hadoop源码的修改同时涉及到了hadoop的重新编译，以及spark的重新编译。下面是对编译过程的一点记录。编译的主要难点和关键在对spark的编译。下面会详细介绍。 版本： hadoop： cdh5.1.0-hadoop2.
Hadoop源代码修改编译执行
jostey的专栏
11-01 2548
针对的是hadoop 0.20.2版本,windows 平台。Linux可以参照着来弄 （之前必须安装有jdk，ant，cygwin，并且配置好环境变量，使得cmd命令行下可以执行相应的命令）   1.首先到官网上把该版本的tar包下载下来，并解压到$HADOOP_HOME目录下 2.进入到$HADOOP_HOME/src目录中，修改saveVersion.sh文件，因为原saveVers
修改Hadoop源码的搜索技巧
劫无忧
11-23 1303
以前在小米基础架构组实习时，修改过部分Hadoop的源码。其中一个很有用的技巧是根据要查找的点，搜索源码中所有和该点有关的代码 1. find . -name “*.java” | xargs grep main.py 搜索对象是java源文件， 搜索的关键字为main.py，这样会搜索出main.py在所有java代码中的位置 2. egrep main.py -r -I *从所有的非二
hadoop 2.7.3 源码分析超简单源码修改测试
奋斗吧_-小青年
06-01 1057
前言 在上一节中我们搭建起了测试环境，这一节我们根据前边序言中的内容，修改一下nameNode的启动代码看是否生效。 修改代码 在工程 hadoop-hdfs-project中的hadoop-hdfs中找到源文件NameNode.java（在包org.apache.hadoop.hdfs.server.namenode 内） 在main 函数内添加以下代码 System.out.pri...
hadoop-2.8.1源码
10-31
本文将围绕"Hadoop 2.8.1源码"这一主题，带你深入理解这个强大系统的核心机制，揭示其背后的分布式存储和计算原理。 Hadoop的核心由两个主要组件构成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是...
实战hadoop中的源码
12-15
Hadoop是开源的分布式计算框架，它允许在大规模集群上存储和处理海量数据。通过研究Hadoop的源码，开发者可以深入了解其内部工作原理，优化系统性能，并定制化开发满足特定需求的解决方案。 【描述】"实战hadoop，...
hadoop 2.7.3 源码分析（二）：超简单源码修改测试
iblks
11-26 3625
前言在上一节中我们搭建起了测试环境，这一节我们根据前边序言中的内容，修改一下nameNode的启动代码看是否生效。修改代码在工程 hadoop-hdfs-project中的hadoop-hdfs中找到源文件NameNode.java（在包org.apache.hadoop.hdfs.server.namenode 内）在main 函数内添加以下代码System.out.println("Hello
java二次开发流程，源码修改流程（Hadoop）
m0_55990500的博客
02-28 4185
java源码修改全流程
Hadoop副本存放策略
Dimples.
11-10 2480
副本存放策略：      基于机架感知当复制因子为3时，HDFS的放置策略是在编写器位于datanode上时将一个副本放在本地计算机上，否则放在随机datanode上，另一个副本放在另一个（远程）机架上的节点上，最后一个在同一个远程机架的不同节点上。此策略可以减少机架间写入流量，从而提高写入性能。机架故障的可能性远小于节点故障的可能性; 此策略不会影响数据可靠性和可用性保证。但是，它确实减少了...
Hadoop副本放置策略+读写流程+磁盘均衡+安全模式+hdfs dfs命令
nituoge的博客
12-08 1632
一. Hdfs副本放置策略 假设设置为3个副本: 第一个副本: 1) 假如上传节点本身为DN节点，优先放置本节点； 2) 否则就随机挑选一台磁盘不太慢,CPU不太繁忙的节点； 第二个副本: 放置在与第一个副本的不同机架的节点上 第三个副本: 放置在与第二个副本的相同机架的不同节点上 CDH机架有一个默认机架 虚拟的概念,一般不调整这种默认机架 二. Client读写流程:站在客户端的角度，读...
下载Hadoop源代码，自己编译
My Sunshine
07-23 821
准备工作 Unix 系统， Mac和Linux都可以 Jdk 1.6及其以上 Maven （Maven的Mac安装教程在oozie安装里有介绍：https://blog.csdn.net/lucylove3943/article/details/80673962） Protocol Buffer （Protobuf，安装教程在导Hadoop源码里面有介绍：https://blog.csdn...
源码编译 - hadoop3.31
weixin_45441077的博客
03-04 523
hadoop-3.31 源码编译与报错处理
6.Hadoop之源码解析
hutc_Alan的博客
04-04 2793
内容过于繁杂，建议去看尚硅谷hadoop官方视频和笔记 视频：https://www.bilibili.com/video/BV1Qp4y1n7EN?spm_id_from=333.337.search-card.all.click 笔记和其余文件：链接：https://pan.baidu.com/s/10iGIiUuFV5JaOhozUvoNcQ 提取码：fgnd 0.RPC 通信原理解析 0）回顾 1）需求： 模拟 RPC 的客户端、服务端、通信协议三者如何工作的 2）代码编写： （1）在 HDFS
[hadoop]数据迁移｜判断文件｜修改副本数｜清理垃圾
胖胖的博客
03-03 1307
1.数据迁移 hadoop distcp -Dmapreduce.job.queuename=hive2 hdfs://ip1:8020/user/hive/warehouse/test.db/t1 hdfs://ip2:8020/user/hive/test.db/ ip1表示从哪里导入，ip2表示导入到哪里。 如果这条命令在ip1所在的节点运行则为ip1向ip2推送数据,此时用的是ip1的资源. 如果这条命令运行在ip2所在节点则为ip2从ip1拉取数据,此时用的是ip2的资源. 注意:
hdfs-block放置策略源码
huangyueranbbc的博客
02-05 408
FSNamesystem.ReplicationMonitor线程负责对block进行复制。run方法不断循环执行computeDatanodeWork()方法，对blokc进行复制和失效操作。computeReplicationWork()方法会遍历所有需要复制的block，调用computeReplicationWorkForBlock()进行复制操作。 该方法调用BlockPlacementPolicyDefault放置策略对象的chooseTarget()来选择复制的所有目标节点。会先将CPU不忙
Hadoop1.2.1源码解读与MapReduce示例
Hadoop 1.2.1源码作为早期版本的Hadoop，为用户提供了深入学习和理解分布式计算、存储原理的宝贵资源。通过分析源码、学习MapReduce编程模型以及实际编写和运行MapReduce作业，开发者可以掌握使用Hadoop处理大规模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青年夏日科技

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值