2013年11月_meilong_whpu

12月 11月 10月

转载从HDFS看分布式文件系统的设计需求

分布式文件系统的设计目标大概是这么几个：透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现，可以更清楚地看出HDFS的应用场景和设计理念。首先是透明性，如果按照开放分布式处理的标准确定就有8种透明性：访问的透明性、位置的透明性、并发透明性、复制透明性、故障透明性、移动透明性、性能透明性和伸缩透明性。对于分布式文件系统，最重要的是希望能达到5个透明性要

2013-11-04 22:20:39 1153

原创 HDFS性能瓶颈分析

1.fsimage加载阶段，主要耗时的操作: 1.1）FSDirectory.addToParent(),功能是根据路径path生成节点INode，并加入目录树中，占加载时间的73%； 1.2）FSImage.readString和PermissionStatus.read操作是从fsimage的文件流中读取数据（分别是读取String和short）的操作，分别占加载时间的15%和8%

2013-11-04 22:19:50 3578

原创 HDFS写操作的整体流程概述

向HDFS写入文件的操作流程图如下：根据上图对整个写操作的逻辑进行讲解：1.调用DistributedFileSystem.create(....)方法，在此方法中初始化DFSClient.DFSOutputStream对象并以此对象为参数初始化FSDataOutputStream对象然后返回FSDataOutputStream对象给客户端；

2013-11-03 13:43:40 1071

原创 HDFS读取文件的整体流程概述

读取HDFS的整体流程图如下，下面根据此图对整个操作进行大致介绍 1.调用DistributedFileSystem.open(Path path, int bufferSize)方法，主要完成初始化DFSInputStream对象的工作，并将DFSInputStream对象作为参数初始化DFSClient.DFSDataInputStrea

2013-11-03 12:14:59 1286

原创 Hadoop之RPC架构分析

一.NameNode的RPC架构如下图：二.下面以DataNode向NameNode注册的实例来说明RPC调用的流程 Hadoop的RPC主要是通过Java的动态代理（Dynamic Proxy）与反射（Reflect）实现，以在DataNode端创建与NameNode交互的RPC协议DatanodeProtocol为例，分析DataNode与NameNode交互的

2013-11-02 23:45:57 1882

原创 Hadoop之RPC概述

一.RPC协议1.hadoop中所有RPC协议都继承了VersionedProtocol接口，其中只有一个方法getProtocolVersion（）；2.hadoop中的RPC协议（1）HDFS相关 ClientDatanodeProtocol ：一个客户端和datanode之间的协议接口; ClientProtocol ：client与Namenode交互的接口，所有控

2013-11-02 23:27:12 1014

原创 SecondaryNameNode对NameNode的checkpoint流程的源码分析

SecondaryNameNode有两个作用，一是镜像备份，二是日志与镜像的定期合并。两个过程同时进行，称为checkpoint。SecondaryNameNode的工作流程图如下：下面根据源码对此流程进行详细分析：1.首先分析SecondaryNameNode的创建过程，主要的初始化逻辑在SecondaryNameNode.initialize(Configuration c

2013-11-02 12:10:25 2261 1

原创 HDFS读取文件操作的处理流程源码分析

HDFS读取文件的客户端主要代码： Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(args[0]),conf); FSDataInputStream in = fs.open(new Path(args[0])); IOUtils.copyBytes(in, S

2013-11-01 23:11:45 1385

金融分布式账本技术安全规范.pdf

《金融分布式账本技术安全规范》（JR/T 0184—2020）金融行业标准近日由中国人民银行正式发布。标准规定了金融分布式账本技术的安全体系，包括基础硬件、基础软件、密码算法、节点通信、账本数据、共识协议、智能合约、身份管理、隐私保护、监管支撑、运维要求和治理机制等方面。标准适用于在金融领域从事分布式账本系统建设或服务运营的机构。

2020-02-26

RocketMQ源码分析，分为存储篇、NameServer篇、Broker篇、Producer篇、Consumer篇五大部分进行源码级的讲解。大致如下： 1、讲解commitlog、consumequeue、index、transaction文件等数据结构、数据读写、HA高可用等功能； 2、讲解NameServer的启动、注册Broker、客户端查询Topic的路由信息等功能； 3、讲解Broker的启动、注册、处理Producer发送消息、处理Consumer拉取消息、事务消息的处理等功能； 4、讲解Producer端的启动、发送普通消息、定时消息、顺序消息、事务消息等功能； 5、讲解Consumer端的启动、PUSH模式的消息消费、PULL模式的消息消费、顺序消费/并发消费等功能；

2017-08-08

RocketMQ源码分析讲解

RocketMQ源码分析，分为存储篇、NameServer篇、Broker篇、Producer篇、Consumer篇五大部分进行代码级的讲解

2017-08-04

RocketMQ-3.2.6源码工程

RocketMQ的源码工程，直接导入到eclipse工程中即可使用；为了在eclipse中运行RocketMQ工程，在NamesrvStartup类的128行、BrokerStartup类的160号加入了一句环境路径的配置语句

2017-05-15

struts-2.3.1.2源码

struts-2.3.1.2源码，与本人上传的xwork-core-source-2.3.1.2源码，以及所有依赖的jar包一起，可以迅速搭建工程，跟踪并分析struct源码

2012-07-14

xwork-core-source-2.3.1.2源码

xwork-core-source-2.3.1.2\src\main\java下面是源码，研究struts-2.3.1.2源码必备

2012-07-14

struts-2.3.1.2源码依赖的所有jar包

asm-commons-2.2.3,asm-3.1,commons-collections,commons-fileupload-1.2,commons-io-1.4,commons-lang-2.5,commons-logging,freemarker-2.3.16,jsp-api,junit-4.4,ognl-3.0.4,org.testng.feature_5.9.0.4,servlet-api，spring，testng-5.8-jdk15，velocity-1.4,velocity-tools-view-1.2

2012-07-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

meilong_whpu的专栏

转载从HDFS看分布式文件系统的设计需求

原创 HDFS性能瓶颈分析

原创 HDFS写操作的整体流程概述

原创 HDFS读取文件的整体流程概述

原创 Hadoop之RPC架构分析

原创 Hadoop之RPC概述

原创 SecondaryNameNode对NameNode的checkpoint流程的源码分析

原创 HDFS读取文件操作的处理流程源码分析

金融分布式账本技术安全规范.pdf

RocketMQ技术讲解V2.0

RocketMQ源码分析讲解

RocketMQ-3.2.6源码工程

struts-2.3.1.2源码

xwork-core-source-2.3.1.2源码

struts-2.3.1.2源码依赖的所有jar包

空空如也