ssjdoudou的博客

hadoop-hdfs-project/hadoop-hdfs/src/main/resources/META-INF/services，可以看到，这个目录下有一个org.apache.hadoop.fs.FileSystem文件。一般我们会这么使用，那么问题来了，FileSystem是个抽象类，我们到底用哪一个呢？通过 loadFileSystems这个方法会加载文件中的所有类，并且根据scheme生成一个map，key是scheme，value是fs。2、如果配置里没有，这个时候用加载的。

1、写入（create）创建DFSOutputStream，启动DataStreamer线程run （主线程）2、createBlockOutputStream （client -> dn1 -> dn2 -> dn3）启动blockStream（实际用来写数据）4、new ResponseProcessor 并启动线程run5、按照packet粒度发送 packet 到datanodeb、DataStreamer run方法不断从dataQueue队列take出来发送。

NetwordTopology

HDFS 2.X HA 模式下的数据同步机制

客户端获取文件的checksum整体流程如下：1、获取文件的所有block2、遍历每个block3、获取block的所有副本以及所在的datanode，去datanode上获取这个block的checksum4、获取每个block的checksum的byte-per-checksum，crc-per-block（block的crc）以及MD55、根据所有block的MD5计算文件的MD56、文件的MD5 + bytesPerCRC + crcPerBlock 计算MD5FileC

打开文件1、DistributedFileSystem.open返回FSDataInputStream输入流 public FSDataInputStream open(Path f) throws IOException { return open(f, getConf().getInt("io.file.buffer.size", 4096)); }2、调用DFSClient.open，返回DFSInputStream @Override public F..

原作githubGitHub - xuexuehan/scmis: Java Swing学籍管理系统Java Swing学籍管理系统. Contribute to xuexuehan/scmis development by creating an account on GitHub.https://github.com/xuexuehan/scmis改进了一下，主要实现了学生学籍的增删改查功能 新建了一张学生学籍表 重写了查询功能 去掉了其他菜单 ps：如果上面的运行代码提示java.lan.

新建一个request.jsimport axios from 'axios' //引入 axiosimport baseUrl from '../api/baseUrl'// 创建 axios 实例const service = axios.create({ baseURL: baseUrl, // api 的 base_url timeout: 15000, // 请求超时时间});// 添加请求拦截器service.interceptors.req

前言replaceBlock 这个rpc 在社区版是只有在Balancer中才用到/** * It is used in Balancer and Mover, and it always internal operation. */ @Override public void replaceBlock(final ExtendedBlock block, final StorageType storageType, final Token<Block

requirementDjango==2.1.7paramiko==2.7.1dwebsocket==0.5.12dwebsocket的配置与HTTPS部署安装uwsgipip install uwsgiuwsgi.ini[uwsgi] chdir = /home/MyBlog module = MyBlog.wsgi:application socket = 127.0.0.1:8000master = true processes = 1threads =

这个工具怎么用没啥好说的，里面的原理简单说一下。MapReduce 这个工具会起mapreduce 任务在yarn的各个节点（客户端）发起读写请求。TestDFSIO.java的run方法会调用mapreduce作业任务。@Override // Tool public int run(String[] args) throws IOException { TestType testType = null; int buff...

main.cpp#include <cstdlib>#include <iostream>int64_t total = int64_t(128) * 1024 * 1024 * 1024;char * p;int main() { while (total) { // 一次申请500M size_t batch = 1024 * 1024 * 500; batch = batch > total ? total : batch;

当前有两种方式出发全量块汇报通过命令行 通过hdfs.site.xml参数控制全量块汇报的代码datanode---BPServiceActor/** * Report the list blocks to the Namenode * @return DatanodeCommands returned by the NN. May be null. * @throws IOException */List<DatanodeCommand> block

简介DataTransferThrottler类别Datanode读取和写入数据时控制传输数据速率。这个类是线程安全的，它可以由多个线程共享。用途是构建DataTransferThrottler对象，并设置期限period和带宽bandwidthPerSec，际读写前调用DataTransferThrottler.throttle()方法。假设I/O的速率相对给定的带宽太快，则该方法会将当前线程wait。构造函数双參构造函数，能够设置周期period和带宽ba...

Block、Replica、BlocksMapBlock类Block类用来唯一标识Namenode中的数据块，是HDFS数据块最基本的抽象接口。Block类实现了Writable接口，可以进行序列化。Block类还实现了Comparable接口，按照blockid大小排序。 Block类定义了三个字段。blockId（唯一标识了这个block对象） numBytes（数据块大小，单位是字节） generateStamp（数据块的时间戳）private...

HDFS Balancer概述在输入启动命令的那台机器上会启动一个进程，为了避免给namenode带来过大的负担，整个balance过程由balance server而不是namenode来控制。Balancer的最终结果是namenode上记录的一个block的一个副本从一个datanode转移到另一个datanode上。PS:副本放置策略 第 2 个副本存放于不同于第 1 个副本所在的机架 第 3 个副本存放于第2个副本所在的机架，但 是属于不同的节点 .

HDFS DecommissionintroductionDecommissionManager管理数据节点停用。 后台监控线程定期检查正在进行停用的数据节点的状态。源码分析/** * Manage node decommissioning. * 节点Decommission操作状态管理器 */class DecommissionManager { static final Log LOG = LogFactory.getLog(DecommissionManager..