第六课 大数据技术之Hadoop3.x的源码解析

第六课 大数据技术之Hadoop3.x的源码解析

第一节 RPC通信原理解析

1. RPC实例需求。模拟RPC的客户端、服务端、通信协议三者如何工作的
   
2. 代码编写：
   • 在HDFSClient项目基础上创建包名com.atguigu.rpc
   • 创建RPC协议

package com.atguigu.rpc;

public interface RPCProtocol {
   

    long versionID = 666;

    void mkdirs(String path);
}

3. 创建RPC服务端

package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;

import java.io.IOException;

public class NNServer implements RPCProtocol{
   

    @Override
    public void mkdirs(String path) {
   
        System.out.println("服务端，创建路径" + path);
    }

    public static void main(String[] args) throws IOException {
   

        Server server = new RPC.Builder(new Configuration())
                .setBindAddress("localhost")
                .setPort(8888)
                .setProtocol(RPCProtocol.class)
                .setInstance(new NNServer())
                .build();

        System.out.println("服务器开始工作");

        server.start();
    }
}

4. 创建RPC客户端

package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;
import java.net.InetSocketAddress;

public class HDFSClient {
   

    public static void main(String[] args) throws IOException {
   
        RPCProtocol client = RPC.getProxy(
                RPCProtocol.class,
                RPCProtocol.versionID,
                new InetSocketAddress("localhost", 8888),
                new Configuration());

        System.out.println("我是客户端");

        client.mkdirs("/input");
    }
}

3. 测试, 启动服务端 观察控制台打印：服务器开始工作
4. 在控制台Terminal窗口输入，jps，查看到NNServer服务。启动客户端
   • 观察客户端控制台打印：我是客户端
   • 观察服务端控制台打印：服务端，创建路径/input
5. 总结
   • RPC的客户端调用通信协议方法，方法的执行在服务端；
   • 通信协议就是接口规范。

第二节 NameNode启动源码解析

1. 在pom.xml中增加如下依赖hadoop-hdfs-client

<dependencies>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-client</artifactId>
		<version>3.1.3