1.RPC 通信原理解析
1
)需求:
模拟
RPC
的客户端、服务端、通信协议三者如何工作的
![](https://i-blog.csdnimg.cn/blog_migrate/facfd1961123372cf5eb4795fc85afe4.png)
2
)代码编写:
(
1
)在
HDFSClient
项目基础上创建包名
com.atguigu.rpc
(2)创建
RPC
协议
package com.atguigu.rpc;
public
interface
RPCProtocol {
long
versionID
= 666;
void
mkdirs
(String path);
}
(3)创建
RPC
服务端(实现接口重写方法,新建RPC服务端,定义端口信息)
package com.atguigu.rpc;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;
import java.io.IOException;
public class
NNServer
implements
RPCProtocol
{
@Override
public void
mkdirs
(String path) {
System.out.println("
服务端,创建路径
" + path);
}
public static void main(String[] args) throws IOException {
Server server = new
RPC
.Builder(new Configuration())
.setBindAddress("localhost")
.setPort(8888)
.setProtocol(RPCProtocol.class)
.setInstance(new NNServer())
.build();
System.out.println("
服务器开始工作
");
server.start();
}
}
(4)创建
RPC
客户端
package com.atguigu.rpc;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import java.io.IOException;
import java.net.InetSocketAddress;
public class
HDFSClient
{
public static void main(String[] args) throws IOException {
RPCProtocol client =
RPC
.getProxy(
RPCProtocol.class,
RPCProtocol.versionID,
new InetSocketAddress("localhost", 8888),
new Configuration());
System.out.println("
我是客户端
");
client.
mkdirs
("/input");
}
(类似socket通信,简历客户端及服务端)
3
)测试
(
1
)启动服务端
观察控制台打印:服务器开始工作
在控制台
Terminal
窗口输入,
jps
,查看到
NNServer
服务
(2)启动客户端
观察客户端控制台打印:我是客户端
观察服务端控制台打印:服务端,创建路径
/input
4
)总结
RPC
的客户端调用通信协议方法,方法的执行在服务端;
通信协议就是接口规范。
rpc是各个组件都要使用到的通信协议,hdfs和yarn之间,及各个检点组件之间的联系,心跳都需要进行rpc通信(所以分析源码rpc是基础)
NameNode
启动源码解析
该图是工作机制 (主要是日志镜像合并)
![](https://i-blog.csdnimg.cn/blog_migrate/76cf2d1e79433c81eea6616c0b3887ae.png)
源代码流程图
![](https://i-blog.csdnimg.cn/blog_migrate/fab458271a9f062ee145304417e348a5.png)
主要是6步:
1.启动9870端口服务,主要是为外部访问提供页面
2.加载镜像文件和编辑日志,namnode启动时先加载镜像文件和日志,然后datanode进行元数据上报,建立心跳
3.初始化nn的RPC服务,主要为外界和datanode的访问提供结构,启动服务端
4.nn启动资源检查,检测是否有足够的内存储存元数据,启动安全模式,对所有路径进行资源检查
5.nn对心跳超时判断
6.进入安全模式,检查block的缺失情况默认0.999
DataNode
启动源码解析
工作机制
![](https://i-blog.csdnimg.cn/blog_migrate/e92c8bf0aff241767b2d180a869de33c.png)
启动源码解析
1.初始化server,用来接收客户端访问
2.初始化http页面,访问页面
3.初始化DN的RPC服务端,与nn进行rpc通信,监测心跳
4.DN向nn注册
5.Dn向NN发送心跳
(nn接到心跳相应,进行注册,并更新心跳时间,为下一次心跳做检测,nn响应心跳给dn)
HDFS
上传源码解析
上传数据流程
![](https://i-blog.csdnimg.cn/blog_migrate/c7e0cb123057a231a41e46a34c8f1106.png)
1.创建读数据流,读取本地数据,生成一个一个上传的packet,并放入数据队列,同事有备份,ack机制,上传成功就删除,
2.客户端向nn发送上传请求,检测块大小,文件位置 ,遍历文件位置
3.nn返回上传位置,然后上传指定文件位置,集群之间上传完毕,有响应,作用在ack队列释放备份数据
Yarn
源码解析