- 博客(6)
- 收藏
- 关注
RSS订阅原创 如何编译Hadoop3.x版本源码
如何编译Hadoop3.x版本源码环境Linux系统：Centos7.6Jdk版本：jdk1.8cmake版本：3.18Hadoop版本：3.1.3Maven版本：3.6.3Protobuf版本：2.5DynamoDBLocal：1.11.86开发工具：intellij IDEA 2019.3.1Step1:安装CentOS7系统Hadoop是可以在Windows平台上编译安装的，为了省去麻烦，我们选择在Linux系统下编译Hadoop，毕竟Hadoop的部署环境是在centos7上，
2021-08-26 16:14:55
761
1
原创 Hadoop学习笔记5
Hadoop学习笔记5本节介绍EC模式下，HDFS在文件下载过程中遇到目标节点失效，是如何处理的。过程简述用户从HDFS中下载文件的过程如上图所示，在web下载模式中，用户首先登陆web服务器，web服务器会从namenode中获取文件存储的信息，客户端又从web服务器上获得存储信息，然后从存储该文件的其中一个（实际就是第一个）服务器上开始下载文件。显然，被选中的服务器（称为currentnode）上只有该文件的一部分数据，其他数据由其他节点发送给currentnode（实际中是由currentno
2020-09-26 16:00:06
211
原创 Hadoop 3.1.3学习笔记4
Hadoop 3.1.3学习笔记4接上节。在重建过程中，有三个量非常重要，input，erasedindex，output，即输入数据，丢失数据（所在datanode的编号）和重建后的输出。input是长度为数据块+局部校验块+全局校验块的数量，实际存储的源数据取决于successlistByteBuffer[] getInputBuffers(int toReconstructLen) { ByteBuffer[] inputs = new ByteBuffer[dataBlkNum + par
2020-07-05 16:45:45
294
3
原创 Hadoop 3.1.3学习笔记3
Hadoop 3.1.3学习笔记3本节将介绍在丢失数据后的重建（Resctruction）过程中，Hadoop是如何选择源节点和目标节点在学习笔记2中介绍了丢失数据的重构过程，其中核心方法为StripedBlockReconstructor的reconstruct方法从上一节我们得知，从readMinimumSources中获取了数量等同于数据块数量的datanode作为重建的数据源，reconstructTargets方法开始对数据进行重建。private void reconstructTarg
2020-07-04 23:26:31
234
原创 Hadoop 3.1.3学习笔记2
Hadoop3.1.3学习笔记2本文主要探讨StripedBlockReconstruction过程，即条带化存储下如何恢复损坏的block，以下内容涉及StripedReader、StripedWriter等相关类的内容，将在后面进行介绍/** * StripedBlockReconstructor reconstruct one or more missed striped block in * the striped block group, the minimum number of liv
2020-06-23 15:33:11
391
原创 Hadoop 3.1.3学习笔记1
Hadoop 3.1.3学习笔记1本部分主要分析EC策略下的条带化读取、写入过程，包括StripeReader、StripeWriter、StripedBlockReader、StripedBlockWriter、StripedBlockUtil部分源码。另外，整个过程还涉及EC策略下的数据重构，包括StripedReconstruction、StripedBlockReconstruction、BlockRecoveryWorker，还涉及HDFS的数据读写流DFSStripedOutputStream
2020-06-22 23:27:54
635
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人