hadoop下的rpc简单实现

lz最近在学习hadoop的相关知识，其中一节是关于rpc的内容，那么首先需要了解什么是rpc？

rpc即为远程过程调用协议，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。rpc协议假定某些传输协议的存在，如tcp/udp，为通信程序之间携带信息数据。如osi网络模型中，rpc跨越了传输层和应用层。rpc使得开发包括网络分布式程序在内的应用程序更加简单。即为一个进程提供了访问其他服务进程的方法，获取其他进程服务方法计算结果的能力，这些进程往往处于不同的计算机中。

rpc采用服务器／客户端模式。请求程序就是一个客户机，而服务提供者就是一个服务器。首先，客户机调用进程发送一个有进程状态的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用的信息到达为止。当一个调用信息到达，服务器获得进程参数、计算结果、发送答复消息，然后等待下一个调用信息，最后客户端调用进程接受答复信息，获取进程结果，然后调用执行继续进行。

其中关于hadoop的整个体系结构就是建立在rpc之上的（org.apache.hadoop.ipc）

                       rpc interface 

rpc server                                    rpc client

其中关于rpc类的包里，主要含有以下的一些方法，包括builder、server方法，其中Builder类是rpc类的静态内部类，其中会调用其中的setProtocol setInstance setBindAddress setPort等方法；还有一类是proxy的代理类，用于动态代理方法的实现。

因为采用客户端／服务器端的模式，那么每次开启服务器端后，服务器就开始进行监听，等待有客户端来连接，并且是阻塞式地监听。

那么接下来我通过一个小的demo程序来完成相应的hadoop下的rpc程序。

首先是pom.xml文件，用于maven程序的jar包自动导入：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.sunwangdong.hadoop.test</groupId>
    <artifactId>jkxy</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.7.1</version>
    </dependency>
    </dependencies>

</project>

然后是实现一个RPCServer类。

package com.jkxy.hadoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;

/**
 * Created by sunwangdong on 2017/3/8.
 */
public class RPCServer implements IRPCInterface{
    public static void main(String[] args) throws IOException
    {
        RPC.Server server = new RPC.Builder(new Configuration())
                .setBindAddress("localhost")
                .setPort(8880)
                .setInstance(new RPCServer())
                .setProtocol(IRPCInterface.class)
            .build();
        server.start();

    }

    public String test(String s)
    {
        System.out.println("RPCServer.test()");
        return "rpc" + s;
    }
}

其中这里注意引入的是org.apache.hadoop.ipc.rpc下的包，这个包是在hadoop-common包的依赖下，特别要注意相关包的依赖关系。然后是客户端的代码

package com.jkxy.hadoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;
import java.net.InetSocketAddress;

/**
 * Created by sunwangdong on 2017/3/8.
 */
public class RPCClient
{
    public static void main(String[] args) throws IOException
    {
        //获取远程访问的本地代理
        IRPCInterface proxy = RPC.getProxy(IRPCInterface.class,1,new InetSocketAddress("localhost",8880),new Configuration());

        String s = proxy.test("client");
        System.out.println("client=====>" + s);
    }
}

上述是客户端的代码，客户端主要用到了动态代理模式，也就是通过proxy类来实现在执行过程中来动态执行相关的方法。相关动态代理的知识，可以复习java的设计模式，btw，设计模式在高级的java相关的开发中还是经常被用到的。

其中这里需要实现一个接口用于调用，这里我用了一个IRPCInterface来实现。

public interface IRPCInterface {
    public static final long versionID = 1;
    public String test(String s);
}

这里要注意的是，需要设置一个version的版本号，这个版本号是用于在调用相关的接口时，能够达到客户端和服务器端一致的作用，这一点有点类似于java的io编程时的序列化，要实现一个serialize的版本号。

以上是最简单的一个hadoop的rpc下的demo，可以通过此程序来实现更高级的hadoop代码。