Storm杂谈之Topology的启动过程（一）

最新推荐文章于 2021-06-22 09:35:24 发布

joeywen

最新推荐文章于 2021-06-22 09:35:24 发布

阅读量4.9k

点赞数 1

本文链接：https://blog.csdn.net/wzhg0508/article/details/41402003

版权

本文探讨了Storm Topology的提交过程，从命令行提交到组件初始化。使用TopologyBuilder构建Topology，设置组件并行度和配置。提交时，通过NimbusClient上传Jar包并检查Topology是否存在。Nimbus作为Storm的核心，负责任务分配和处理用户命令，如提交、杀死和激活Topology。

摘要由CSDN通过智能技术生成

topology的提交

大家都知道，要提交Storm Topology 到Cluster，需要运行如下命令：

${STORM_HOME}/bin/storm jar xxxxxxxxxxx.jar ${main class} [args ...]

bin目录下storm是一个Python文件，我们可以看一下Python脚本的main方法

def main():
    if len(sys.argv) <= 1:
        print_usage()
        sys.exit(-1)
    global CONFIG_OPTS
    config_list, args = parse_config_opts(sys.argv[1:])
    parse_config(config_list)
    COMMAND = args[0]
    ARGS = args[1:]
    (COMMANDS.get(COMMAND, unknown_command))(*ARGS)
    
if __name__ == "__main__":
    main()

首先解析args参数，解析完了之后，把所有的参数传递给COMMANDS，由COMMANDS调用正确的方法，COMMANDS是一个Dict，key是string，value是function

COMMANDS = {"jar": jar, "kill": kill, "shell": shell, "nimbus": nimbus, "ui": ui, "logviewer": logviewer,
            "drpc": drpc, "supervisor": supervisor, "localconfvalue": print_localconfvalue,
            "remoteconfvalue": print_remoteconfvalue, "repl": repl, "classpath": print_classpath,
            "activate": activate, "deactivate": deactivate, "rebalance": rebalance, "help": print_usage,
            "list": listtopos, "dev-zookeeper": dev_zookeeper, "version": version, "monitor": monitor}

我们是调用jar方法：

def jar(jarfile, klass, *args):
    """Syntax: [storm jar topology-jar-path class ...]

    Runs the main method of class with the specified arguments. 
    The storm jars and configs in ~/.storm are put on the c