RPC，HDFS，源代码解析

1.RPC 通信原理解析

 

1 ）需求：

模拟 RPC 的客户端、服务端、通信协议三者如何工作的

2 ）代码编写：

 

（ 1 ）在 HDFSClient 项目基础上创建包名 com.atguigu.rpc

（2）创建 RPC 协议

package com.atguigu.rpc;

public interface RPCProtocol {

long versionID = 666;

void mkdirs (String path);

}

（3）创建 RPC 服务端(实现接口重写方法，新建RPC服务端，定义端口信息)

package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.ipc.RPC;

import org.apache.hadoop.ipc.Server;

import java.io.IOException;

public class NNServer implements RPCProtocol {

@Override

public void mkdirs (String path) {

System.out.println(" 服务端，创建路径 " + path);

}

public static void main(String[] args) throws IOException {

Server server = new RPC .Builder(new Configuration())

.setBindAddress("localhost")

.setPort(8888)

.setProtocol(RPCProtocol.class)

.setInstance(new NNServer())

.build();

System.out.println(" 服务器开始工作 ");

server.start();

}

}

（4）创建 RPC 客户端

package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.ipc.RPC;

import java.io.IOException;

import java.net.InetSocketAddress;

public class HDFSClient {

public static void main(String[] args) throws IOException {

RPCProtocol client = RPC .getProxy(

RPCProtocol.class,

RPCProtocol.versionID,

new InetSocketAddress("localhost", 8888),

new Configuration());

System.out.println(" 我是客户端 ");

client. mkdirs ("/input");

}

（类似socket通信，简历客户端及服务端）

3 ）测试

（ 1 ）启动服务端

观察控制台打印：服务器开始工作

在控制台 Terminal 窗口输入， jps ，查看到 NNServer 服务

（2）启动客户端

观察客户端控制台打印：我是客户端

观察服务端控制台打印：服务端，创建路径 /input

4 ）总结

RPC 的客户端调用通信协议方法，方法的执行在服务端；

通信协议就是接口规范。

rpc是各个组件都要使用到的通信协议，hdfs和yarn之间，及各个检点组件之间的联系，心跳都需要进行rpc通信（所以分析源码rpc是基础）

NameNode 启动源码解析

该图是工作机制 （主要是日志镜像合并）

源代码流程图

 主要是6步：

1.启动9870端口服务，主要是为外部访问提供页面

2.加载镜像文件和编辑日志，namnode启动时先加载镜像文件和日志，然后datanode进行元数据上报，建立心跳

3.初始化nn的RPC服务，主要为外界和datanode的访问提供结构，启动服务端

4.nn启动资源检查，检测是否有足够的内存储存元数据，启动安全模式，对所有路径进行资源检查

5.nn对心跳超时判断

6.进入安全模式，检查block的缺失情况默认0.999

DataNode 启动源码解析

工作机制

 启动源码解析

 1.初始化server，用来接收客户端访问

2.初始化http页面，访问页面

3.初始化DN的RPC服务端，与nn进行rpc通信，监测心跳

4.DN向nn注册

5.Dn向NN发送心跳

（nn接到心跳相应，进行注册，并更新心跳时间，为下一次心跳做检测，nn响应心跳给dn）

HDFS 上传源码解析

上传数据流程

 

1.创建读数据流，读取本地数据，生成一个一个上传的packet，并放入数据队列，同事有备份，ack机制，上传成功就删除，

2.客户端向nn发送上传请求，检测块大小，文件位置 ，遍历文件位置

3.nn返回上传位置，然后上传指定文件位置，集群之间上传完毕，有响应，作用在ack队列释放备份数据

Yarn 源码解析