openstack之neutron代码分析---(1)neutron初始化流程

最新推荐文章于 2021-12-13 16:07:23 发布

置顶 zhnlion

最新推荐文章于 2021-12-13 16:07:23 发布

阅读量5.5k

点赞数 2

分类专栏： openstack 文章标签： openstack neutron 网络

本文链接：https://blog.csdn.net/u013920085/article/details/50099147

版权

openstack 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Neutron是openstack中用于管理网络的项目。neutron代码的入口配置文件neutron/setup.cfg，我们可以通过这个文件了解整个项目的代码结构。文章中代码为neutron kilo版本。部分setup.cfg内容如下：

…
[entry_points]
console_scripts = 
	…
	neutron-l3-agent = neutron.agent.l3.agent:main
	neutron-lbaas-agent = neutron.services.loadbalancer.agent.agent:main
	neutron-linuxbridge-agent = neutron.plugins.linuxbridge.agent.linuxbridge_neutron_agent:main
	neutron-metadata-agent = neutron.agent.metadata.agent:main
…
	neutron-nvsd-agent = neutron.plugins.oneconvergence.agent.nvsd_neutron_agent:main
	neutron-openvswitch-agent = neutron.plugins.openvswitch.agent.ovs_neutron_agent:main
…
	neutron-server = neutron.server:main
…
neutron.core_plugins = 
	…
	hyperv = neutron.plugins.hyperv.hyperv_neutron_plugin:HyperVNeutronPlugin
	ibm = neutron.plugins.ibm.sdnve_neutron_plugin:SdnvePluginV2
	midonet = neutron.plugins.midonet.plugin:MidonetPluginV2
	ml2 = neutron.plugins.ml2.plugin:Ml2Plugin
…

neutron-l3-agent：l3 agent部署在计算节点或者网络节点上,负责3层虚拟网络的管理。根据setup.cfg文件可以看出neutron-l3-agent的代码路径是neutron\agent\l3\agent

neutron-openvswitch-agent：Open vSwitch Agent部署在计算节点或者网络节点上，进行管理OVS虚拟交换机。根据setup.cfg文件可以看出neutron-openvswitch-agent的代码路径是neutron\plugins\openvswitch\agent.ovs_neutron_agent

neutron-server:是Neutron中唯一的一个服务进程，负责接收用户的RESTful API请求并分发处理给各种agen来完成这些的任务。根据setup.cfg文件可以看出neutron代码路径是neutron\server

ML2Plugin：用于提供二层虚拟网络，实现了network/subnet/port资源的操作，这些操作最终由Plugin通过RPC调用OpenvSwitch Agent来完成。根据setup.cfg文件可以看出代码路径是 neutron\plugins\ml2\plugin\Ml2Plugin

neutron初始化流程:

1.server初始化

server初始化文件：neutron\neutron\server\__init__.py

def main():
    # the configuration will be read into the cfg.CONF global data structure
    config.init(sys.argv[1:])
    ....
    try:
        pool = eventlet.GreenPool()
        neutron_api = service.serve_wsgi(service.NeutronApiService)
        api_thread = pool.spawn(neutron_api.wait)
        try:
            neutron_rpc = service.serve_rpc()
            ....
        else:
            rpc_thread = pool.spawn(neutron_rpc.wait)
            # api and rpc should die together.  When one dies, kill the other.
            rpc_thread.link(lambda gt: api_thread.kill())
            api_thread.link(lambda gt: rpc_thread.kill())
        pool.waitall()
    ....

main方法的核心就是serve_wsgi、serve_rpc两个方法调用，分别创建api服务和rpc服务。

1.1api服务初始化

api服务的实现是service.NeutronApiService，这是一个符合WSGI规范的app，通过paste进行配置，paste文件位置可以在配置文件中指定，默认是/etc/neutron/api-paste.ini，在代码中是etc/api-paste.ini。查看api-paste.ini可以确定v2版api的实现是在neutron.api.v2.router:APIRouter

 [app:neutronapiapp_v2_0]
paste.app_factory = neutron.api.v2.router:APIRouter.factory

APIRouter在构造时，会根据配置文件core_plugin的配置加载plugin、extension管理器。所在文件：

neutron\neutron\api\v2\router.py

class APIRouter(wsgi.Router):
    @classmethod
    def factory(cls, global_config, **local_config):
        return cls(**local_config)
 
    def __init__(self, **local_config):
        mapper = routes_mapper.Mapper()
        plugin = manager.NeutronManager.get_plugin()
        ext_mgr = extensions.PluginAwareExtensionManager.get_instance()
        ext_mgr.extend_resources("2.0", attributes.RESOURCE_ATTRIBUTE_MAP)

1.2.rpc服务初始化

serve_rpc函数定义文件：neutron\neutron\service.py

def serve_rpc():
    plugin = manager.NeutronManager.get_plugin()
    ....
    try:
        rpc = RpcWorker(plugin)
        if cfg.CONF.rpc_workers < 1:
            rpc.start()
            return rpc
        ....

首先会根据配置文件core_plugin的配置加载plugin，然后创建RpcWorker，开始监听rpc；通过调用_plugin.start_rpc_listeners进行监听。

以ml2 plugin为例，在它的start_rpc_listener方法中，创建neutron.plugin.ml2.rpc.RpcCallbacks类的实例，并创建了dispatcher处理'q-plugin' topic。

ml2 plugin所在文件：neutron/plugins/ml2/plugin.py

    def start_rpc_listeners(self):
        self.endpoints = [rpc.RpcCallbacks(self.notifier, self.type_manager),
                          securitygroups_rpc.SecurityGroupServerRpcCallback(),
                          dvr_rpc.DVRServerRpcCallback(),
                          dhcp_rpc.DhcpRpcCallback(),
                          agents_db.AgentExtRpcCallback(),
                          metadata_rpc.MetadataRpcCallback()]
        self.topic = topics.PLUGIN
        self.conn = n_rpc.create_connection(new=True)
        self.conn.create_consumer(self.topic, self.endpoints,
                                  fanout=False)
        return self.conn.consume_in_threads()

ML2Plugin初始化时，针对agent创建自己的消息队列（notify，生产者）（topics.AGENT）以便向agent发送rpc请求，同时订阅ml2 Agent消息队列的消息（consumer，消费者）（topics.PLUGIN）以便接收来自agent的rpc请求。

同样，ml2 Agent初始化时，也会创建自己的消息队列（notify，生产者）（topics.PLUGIN）来向plugin发送rpc请求，同时订阅ML2Plugin消息队列的消息（consumer，消费者）（topics.AGENT）来接收来自plugin的rpc请求。

消息队列的生成者类(xxxxNotifyAPI)和对应的消费者类（xxxxRpcCallback）定义有相同的接口函数，生产者类中的函数主要作用是rpc调用消费者类中的同名函数，消费者类中的函数执行实际的动作。

如：xxxNotifyAPI类中定义有network_delete()函数，则xxxRpcCallback类中也会定义有network_delete()函数。xxxNotifyAPI::network_delete()通过rpc调用xxxRpcCallback::network_delete()函数，xxxRpcCallback::network_delete()执行实际的network delete删除动作。

RpcCallbacks类中的方法与neutron.agent.rpc.PluginApi的方法是对应的

2.agent初始化

以常用的openvswitch agent为例，可以执行以下命令启动agent服务

$service neutron-openvswitch-agent start

从setup.cfg配置文件的以下内容可以知道，实际执行的方法是neutron.plugins.openvswitch.agent.ovs_neutron_agent:main。

[entry_points]
console-scripts = 
    ...
    neutron-openvswitch-agent = neutron.plugins.openvswitch.agent.ovs_neutron_agent:main
    ...

2.1.neutron/plugins/openvswitch/agent/ovs_neutron_agent.py:main

def main():
    ...
    try:
        # 从配置文件中读取agent的配置，主要是network_mappings，各个bridges名称
        agent_config = create_agent_config_map(cfg.CONF)
    except ValueError as e:
        LOG.error(_('%s Agent terminated!'), e)
        sys.exit(1)
    ...
    # 创建agent实例
    agent = OVSNeutronAgent(**agent_config)
    signal.signal(signal.SIGTERM, handle_sigterm)
    # Start everything.
    LOG.info(_("Agent initialized successfully, now running... "))
    agent.daemon_loop()
    sys.exit(0)

2.2.neutron/plugins/openvswitch/agent/ovs_neutron_agent.py:__init__

在OVSNeutronAgent的docstring中，概要说明了agent实现虚拟的方式，有以下几点：

· 创建br-int, br-tun以及每个物理网络接口一个bridge。

· 虚拟机的虚拟网卡都会接入到br-int。使用同一个虚拟网络的虚拟网卡共享一个local的VLAN（与外部网络的VLAN无关，vlan id可以重叠）。这个local的VLAN id会映射到外部网络的某个VLAN id。

· 对于network_type是VLAN或者FLAT的网络，在br-int和各个物理网络bridge之间创建一个虚拟网卡，用于限定流规则、映射或者删除VLAN id等处理。

· 对于network_type是GRE的，每个租户在不同hypervisor之间的网络通信通过一个逻辑交换机标识符（Logical Switch identifier)进行区分，并创建一个连通各个hypervisor的br-tun的通道(tunnel)网络。Port patching用于连通br-int和各个hypervisor的br-tun上的VLAN。

class OVSNeutronAgent(sg_rpc.SecurityGroupAgentRpcCallbackMixin,
                      l2population_rpc.L2populationRpcCallBackMixin):
 
    def __init__(self, integ_br, tun_br, local_ip,
                 bridge_mappings, root_helper,
                 polling_interval, tunnel_types=None,
                 veth_mtu=None, l2_population=False,
                 minimize_polling=False,
                 ovsdb_monitor_respawn_interval=(
                     constants.DEFAULT_OVSDBMON_RESPAWN)):
        ...
        # local VLAN id范围是[1, 2094]
        self.available_local_vlans = set(xrange(q_const.MIN_VLAN_TAG,
                                                q_const.MAX_VLAN_TAG))
        ...
        # 创建br-int，重置流表规则等，通过调用brctl, ovs-vsctl, ip等命令实现
        self.int_br = ovs_lib.OVSBridge(integ_br, self.root_helper)
        self.setup_integration_br()
        self.int_br.set_secure_mode()
        # Stores port update notifications for processing in main rpc loop
        self.updated_ports = set()
        # 配置plugin的rpcapi连接（topic='q-plugin'，接口neutron.agent.rpc.py:PluginApi）并监听其它服务对agent的rpc的调用（topic='q-agent-notifier'）
        self.setup_rpc()
        # 配置文件中传入的参数
        self.bridge_mappings = bridge_mappings
        # 给每个mapping创建一个bridge，并连接到br-int
        self.setup_physical_bridges(self.bridge_mappings)
        self.local_vlan_map = {}
        # 创建tunnel的代码省略
        # Security group agent supprot
        self.sg_agent = OVSSecurityGroupAgent(self.context,
                                              self.plugin_rpc,                    
                                              root_helper)

2.3.neutron/plugins/openvswitch/agent/ovs_neutron_agent.py:daemon_loop

该方法是服务的消息循环方法，主要逻辑在它调用的rpc_loop方法中。

def rpc_loop(self, polling_manager=None):
    while True:
        ...
        # 从br-int确定配置更新或者删除的端口信息
        port_info = self.scan_ports(reg_ports, updated_ports_copy)
        ports = port_info['current']
        ...
        # Secure and wire/unwire VIFs and update their status
        # on Neutron server
        if (self._port_info_has_changes(port_info) or
            self.sg_agent.firewall_refresh_needed() or
            ovs_restarted):
            # If treat devices fails - must resync with plugin
            # 这个方法会从plugin查询port的详情，根据port的admin_state_up状态，分别执行self.port_bound()或者self.port_dead()
            # 并调用plugin rpc的update_device_up或update_device_down方法更新端口状态
            sync = self.process_network_ports(port_info,
                                              ovs_restarted)

zhnlion

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
openstack之neutron代码分析---(1)neutron初始化流程

Neutron是openstack中用于管理网络的项目。neutron代码的入口配置文件neutron/setup.cfg，我们可以通过这个文件了解整个项目的代码结构。部分setup.cfg内容如下：…[entry_points]console_scripts = … neutron-l3-agent = neutron.agent.l3.agent:main neutron-lb
复制链接

扫一扫