locust 源码分析

locust master和worker分别干了什么

最近，由于服务压测的需求，借助locust框架进行了二次开发，整体来说locust满足当前需求，缺点是即便采用分布式部署，worker的丢失容易导致压测流量的变化，从而影响压测体验，所以很有必要了解master和worker之间的分工及协作，以便掌握该框架的优劣，对日后的服务升级打下基础。

locust master

1、main里做了什么：
（1）使用command line parser对-f后的locustfile进行验证，然后import该locustfile，导入后docstring, user_classes, shape_class这3个，如果启动的时候我们不指定shape，docstring有值，user_classes应该是locustfile里继承自User或者HttpUser的用户自定义类名。如果用户编写的locustfile对user这块的定义有问题，那么locust启动压测的时候就会退出。
（2）使用parse_options 解析所有command line options。这里如果我们不显示指定headless的话，应该可以通过网页访问到locust的压测设置页面，options.headless = False
（3）日志的设置（这里没有设置）
（4）检查user_classes，主要看定义是否正确，以及是否包含用户启动指令指定的user，把用户要启动的user筛出来装到一个容器里。
（5）无
（6）创建environment环境

environment = create_environment(user_classes, options, events=locust.events, shape_class=shape_class)

根据启动命令创建压测进程的环境实例：

def create_environment(user_classes, options, events=None, shape_class=None):
    """
    Create an Environment instance from options
    """
    return Environment(
        user_classes=user_classes,
        shape_class=shape_class,
        tags=options.tags,
        exclude_tags=options.exclude_tags,
        events=events,
        host=options.host,
        reset_stats=options.reset_stats,
        stop_timeout=options.stop_timeout,
        parsed_options=options,
    )

我们继续深入，看看Environment里干了啥

    def __init__(
        self,
        *,
        user_classes=[],       user_classes
        shape_class=None,      None
        tags=None,             None
        exclude_tags=None,     None
        events=None,           Events()-如果没有指定events
        host=None,             host
        reset_stats=False,     False
        stop_timeout=None,     None
        catch_exceptions=True, True
        parsed_options=None,   None
    ):

（7）创建master的environment的runner:

    def create_master_runner(self, master_bind_host="*", master_bind_port=5557):
        return self._create_runner(
            MasterRunner,
            master_bind_host=master_bind_host,
            master_bind_port=master_bind_port,
        )

里边干了啥

    def __init__(self, environment, master_bind_host, master_bind_port):
        """
        :param environment: Environment instance
        :param master_bind_host: Host/interface to use for incoming worker connections
        :param master_bind_port: Port to use for incoming worker connections
        """
        super().__init__(environment)
        self.worker_cpu_warning_emitted = False
        self.master_bind_host = master_bind_host
        self.master_bind_port = master_bind_port

        class WorkerNodesDict(dict):
            def get_by_state(self, state):
                return [c for c in self.values() if c.state == state]

            @property
            def all(self):
                return self