RocketMQ源码解析1-NameServer

kele。

已于 2023-12-18 11:43:07 修改

阅读量151

点赞数 6

文章标签： rocketmq

于 2023-12-02 17:13:02 首次发布

本文链接：https://blog.csdn.net/qq_38038507/article/details/134754799

版权

版本：RocketMQ4.8.0

架构设计

Broker启动的时候会向所有的NameServer注册，生产者在发送消息时会先从NameServer中获取Broker消息服务器的地址列表，根据负载均衡算法选取一台Broker消息服务器发送消息。NameServer与每台Broker之间保持着长连接，并且每隔10秒会检查Broker是否存活，如果检测到Broker超过120秒未发送心跳，则从路由注册表中移除该Broker。

但是路由的变化不会马上通知消息生产者，这是为了降低NameServe的复杂性，所以在RocketMQ中需要消息的发送端提供容错机制（AP）来保证消息发送的高可用性，这在后续关于RocketMQ消息发送的章节会介绍。

NameServer

1.启动流程源码分析

1.1启动

NameServer位于RocketMq项目的namesrv模块下，主类是org.apache.rocketmq.namesrv.NamesrvStartup

public class NamesrvStartup {

    public static void main(String[] args) {
        main0(args);
    }

    public static NamesrvController main0(String[] args) {
        try {
            //todo 创建 controller
            NamesrvController controller = createNamesrvController(args);
            //todo 启动
            start(controller);
            String tip = "The Name Server boot success. serializeType=" 
                    + RemotingCommand.getSerializeTypeConfigInThisServer();
            log.info(tip);
            System.out.printf("%s%n", tip);
            return controller;
        } catch (Throwable e) {
            e.printStackTrace();
            System.exit(-1);
        }

        return null;
    }

}

1.2 创建`controller`：`NamesrvStartup#createNamesrvController`

public static NamesrvController createNamesrvController(String[] args) throws IOException, JoranException {

        System.setProperty(RemotingCommand.REMOTING_VERSION_KEY, Integer.toString(MQVersion.CURRENT_VERSION));
        //PackageConflictDetect.detectFastjson();
        //构建选项集
        Options options = ServerUtil.buildCommandlineOptions(new Options());
        //加载命令行参数解析
        commandLine = ServerUtil.parseCmdLine("mqnamesrv", args, buildCommandlineOptions(options), new PosixParser());
        if (null == commandLine) {
            System.exit(-1);
            return null;
        }
        // nameServer的相关配置
        final NamesrvConfig namesrvConfig = new NamesrvConfig();
        //  nettyServer的相关配置
        final NettyServerConfig nettyServerConfig = new NettyServerConfig();
        // 配置监听端口，实际在NettyServerConfig()中已经定义好了
        nettyServerConfig.setListenPort(9876);
        //处理“-c”命令行，判断集合中是否包含c元素
        if (commandLine.hasOption('c')) {
            // 处理配置文件
            String file = commandLine.getOptionValue('c');
            if (file != null) {
                // 读取配置文件，并将其加载到 properties 中
                InputStream in = new BufferedInputStream(new FileInputStream(file));
                properties = new Properties();
                properties.load(in);
                // 将 properties 里的属性赋值到 namesrvConfig 与 nettyServerConfig
                MixAll.properties2Object(properties, namesrvConfig);
                MixAll.properties2Object(properties, nettyServerConfig);

                namesrvConfig.setConfigStorePath(file);

                System.out.printf("load config properties file OK, %s%n", file);
                in.close();
            }
        }

        //判断集合中是否包含c元素,处理 -p 命令行，该参数用于打印nameServer、nettyServer配置
        if (commandLine.hasOption('p')) {
            InternalLogger console = InternalLoggerFactory.getLogger(LoggerName.NAMESRV_CONSOLE_NAME);
            //打印配置信息
            MixAll.printObjectProperties(console, namesrvConfig);
            MixAll.printObjectProperties(console, nettyServerConfig);
            //退出程序
            System.exit(0);
        }
        //将 commandLine 的所有配置设置到 namesrvConfig 中
        MixAll.properties2Object(ServerUtil.commandLine2Properties(commandLine), namesrvConfig);
        // 检查环境变量：ROCKETMQ_HOME
        if (null == namesrvConfig.getRocketmqHome()) {
            System.out.printf("Please set the %s variable in your environment to match the location of the RocketMQ installation%n", MixAll.ROCKETMQ_HOME_ENV);
            System.exit(-2);
        }

        ......

        // 创建一个controller
        final NamesrvController controller = new NamesrvController(namesrvConfig, nettyServerConfig);

        // 将当前 properties 合并到项目的配置中，并且当前 properties 会覆盖项目中的配置
        controller.getConfiguration().registerConfig(properties);

        return controller;
    }

一共做了两件事

处理配置
创建NamesrvController实例

1.3启动nameServer：NamesrvStartup#start

  public static NamesrvController start(final NamesrvController controller) throws Exception {

        if (null == controller) {
            throw new IllegalArgumentException("NamesrvController is null");
        }
        //controller初始化
        boolean initResult = controller.initialize();
        if (!initResult) {
            controller.shutdown();
            System.exit(-3);
        }
        // 添加关闭函数
        Runtime.getRuntime().addShutdownHook(new ShutdownHookThread(log, new Callable<Void>() {
            @Override
            public Void call() throws Exception {
                controller.shutdown();
                return null;
            }
        }));
        //启动
        controller.start();

        return controller;
    }

一共分为三个步骤：

初始化（加载kv配置、创建netty服务端、开启心跳机制定时任务等）
添加关闭钩子，所谓的关闭钩子，可以理解为一个线程，可以用来监听jvm的关闭事件，在jvm真正关闭前，可以进行一些处理操作，这里的关闭前的处理操作就是controller.shutdown()方法所做的事了，所做的事也很容易想到，无非就是关闭线程池、关闭已经打开的资源等
启动操作，这应该就是真正启动nameServer服务了

1.3.1第一步初始化操作的内容：

public boolean initialize() {
        // 加载 kv 配置
        this.kvConfigManager.load();
        // 创建 netty 远程服务
        this.remotingServer = new NettyRemotingServer(this.nettyServerConfig, this.brokerHousekeepingService);
        // netty 远程服务线程
        this.remotingExecutor =
            Executors.newFixedThreadPool(nettyServerConfig.getServerWorkerThreads(), new ThreadFactoryImpl("RemotingExecutorThread_"));
        // 注册，判断是否是集群环境，注册默认处理器或集群处理器
        this.registerProcessor();
        // 开启定时任务线程池，每隔10s扫描一次broker，移除不活跃的broker
        this.scheduledExecutorService.scheduleAtFixedRate(new Runnable() {

            @Override
            public void run() {
                NamesrvController.this.routeInfoManager.scanNotActiveBroker();
            }
        //initalDelay:任务开始执行的延迟时间,period:任务执行的间隔周期,SECONDS:时间单位秒
        }, 5, 10, TimeUnit.SECONDS);

      //打印kv信息 省略......
      //tls安全传输 省略......

        return true;
    }

初始化的内容主要做了两件事

处理netty相关：创建远程服务与工作线程
开启定时任务：移除brokerLiveTable集合中不活跃的broker

因为nameServer是作为一个注册中心，那就一个通讯服务提供给客户端进行心跳传输，RocketMQ中选择了Netty作为通讯框架，定义NettyRemotingServer()对外开放入口，接收broker等组件的注册

创建netty服务端：

暂时不对这块细述

创建定时任务

开启以Runnable为调度的线程池，执行routeInfoManager.scanNotActiveBroker()方法，所做的主要工作是监听broker的上报信息，及时移除不活跃的broker。

 public void scanNotActiveBroker() {
        //获取上报的broker列表
        Iterator<Entry<String, BrokerLiveInfo>> it = this.brokerLiveTable.entrySet().iterator();
        //遍历列表
        while (it.hasNext()) {
            //获取单个broker
            Entry<String, BrokerLiveInfo> next = it.next();
            long last = next.getValue().getLastUpdateTimestamp();
            //根据最后更新时间+最大过期时间结合当前时间判断是否过期
            if ((last + BROKER_CHANNEL_EXPIRED_TIME) < System.currentTimeMillis()) {
                //关闭broker的netty长连接通道
                RemotingUtil.closeChannel(next.getValue().getChannel());
                //本地列表中移除过期broker
                it.remove();
                log.warn("The broker channel expired, {} {}ms", next.getKey(), BROKER_CHANNEL_EXPIRED_TIME);
                this.onChannelDestroy(next.getKey(), next.getValue().getChannel());
            }
        }
    }

1.3.2第二步：添加关闭函数

这块大概的作用是当nameServer关闭时，同时也将一些资源进行关闭，代码可以看到controller.shutdown()

public void shutdown() {
        this.remotingServer.shutdown();
        this.remotingExecutor.shutdown();
        this.scheduledExecutorService.shutdown();

        if (this.fileWatchService != null) {
            this.fileWatchService.shutdown();
        }
    }

1.3.4第三步启动：NamesrvController#start

public void start() throws Exception {
    // 启动nettyServer
    this.remotingServer.start();
    // 监听tls配置文件的变化，不关注
    if (this.fileWatchService != null) {
        this.fileWatchService.start();
    }
}

可以看到作为注册中心服务端走的是NettyRemotingServer实现类

当中几个消息处理器ChannelHandler简单介绍一下

public void initChannel(SocketChannel ch) throws Exception {
                        ch.pipeline()
                            .addLast(defaultEventExecutorGroup, HANDSHAKE_HANDLER_NAME, handshakeHandler)
                            .addLast(defaultEventExecutorGroup,
                                encoder,
                                new NettyDecoder(),
                                new IdleStateHandler(0, 0, nettyServerConfig.getServerChannelMaxIdleTimeSeconds()),
                                connectionManageHandler,
                                serverHandler
                            );
                    }

handshakeHandler：处理握手操作，用来判断tls的开启状态
NettyEncoder/NettyDecoder：处理报文的编解码操作
IdleStateHandler：处理心跳
connectionManageHandler：处理连接请求
serverHandler：处理读写请求

3. 总结

NameServer的启动流程，整个启动流程分为3步：

创建controller：主要是解析nameServer的配置并完成赋值操作
初始化controller：主要创建了NettyRemotingServer对象、netty服务线程池、定时任务等
启动controller：就是启动netty 服务

kele。

关注

6
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
RocketMQ源码解析1-NameServer

创建controller：主要是解析nameServer的配置并完成赋值操作初始化controller：主要创建了NettyRemotingServer对象、netty服务线程池、定时任务等启动controller：就是启动netty 服务。
复制链接

扫一扫