【学习笔记】大数据技术之Hadoop（源码记录）_hadoop实战项目源码集合-CSDN博客

源码

第0章 RPC通信原理解析
第1章 NameNode启动源码解析
第2章 DataNode启动源码解析
第3章 HDFS上传源码解析
第4章 Yarn源码解析
第5章 MapReduce源码解析
- 5.1 Job提交流程源码和切片源码详解
- 5.2 MapTask & ReduceTask源码解析
第6章 Hadoop源码编译

第0章 RPC通信原理解析

RPC是什么
RPC（Remote Procedure Call）远程过程调用协议，一种通过网络从远程计算机上请求服务，而不需要了解底层网络技术的协议。RPC它假定某些协议的存在，例如TPC/UDP等，为通信程序之间携带信息数据。在OSI网络七层模型中，RPC跨越了传输层和应用层，RPC使得开发，包括网络分布式多程序在内的应用程序更加容易。
过程是什么？过程就是业务处理、计算任务，更直白的说，就是程序，就是想调用本地方法一样调用远程的过程

Ctrl+alt+D 能找到接口的实现类
双击shift查找

0）回顾
在这里插入图片描述
1）需求：
模拟RPC的客户端、服务端、通信协议三者如何工作的

2）代码编写：
（1）在HDFSClient项目基础上创建包名com.atguigu.rpc
（2）创建RPC协议

package com.atguigu.rpc;

public interface RPCProtocol {

    long versionID = 666;

    void mkdirs(String path);
}

（3）创建RPC服务端

package com.atguigu.rpc;
// 实现通信接口
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;

import java.io.IOException;

public class NNServer implements RPCProtocol{

    @Override
    public void mkdirs(String path) {
        System.out.println("服务端，创建路径" + path);
    }

    public static void main(String[] args) throws IOException {

        Server server = new RPC.Builder(new Configuration())
                .setBindAddress("localhost")
                .setPort(8888)
                .setProtocol(RPCProtocol.class)
                .setInstance(new NNServer())
                .build();

        System.out.println("服务器开始工作");

        server.start();
    }
}

（4）创建RPC客户端

package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;
import java.net.InetSocketAddress;

public class HDFSClient {

    public static void main(String[] args) throws IOException {
// 获取客户端对象
        RPCProtocol client = RPC.getProxy(
                RPCProtocol.class,
                RPCProtocol.versionID,
                new InetSocketAddress("localhost", 8888),
                new Configuration());

        System.out.println("我是客户端");

        client.mkdirs("/input");
    }
}

3）测试
（1）启动服务端
观察控制台打印：服务器开始工作
在控制台Terminal窗口输入，jps，查看到NNServer服务
（2）启动客户端
观察客户端控制台打印：我是客户端
观察服务端控制台打印：服务端，创建路径/input
4）总结
RPC的客户端调用通信协议方法，方法的执行在服务端；
通信协议就是接口规范。