neutron l3 agent 初始化过程代码走读

neutron-l3-agent 初始化流表过程
/usr/bin/neutron-l3-agent --config-file=/etc/neutron/neutron_dvr_compute.conf --config-file=/etc/neutron/dvr_compute_agent.ini

说明：
1  "//" 为 neutron-l3-agent 初始化过程的一个step步骤标记        

+------------------------------------------------------------------------------------+ 
(一) neutron-l3-agent 初始化过程：
+------------------------------------------------------------------------------------+ 
/usr/bin/neutron-l3-agent 调用neutron.agent.l3_agent.py中的main()方法来启动neutron-l3-agent服务。main()方法中创建一个加载了neutron.agent.l3.agent.L3NATAgentWithStateReport管理器的server，
然后启动这个server。launch server时，会调用server的start()方法。

（1） neutron.agent.l3_agent.py 中main（）方法启动过程：
   1.1. 初始化 manager： neutron.agent.l3.agent.L3NATAgentWithStateReport：
   1.2. 初始化 neutron.service.py 中 class Service(n_rpc.Service)对象，并执行其start()方法。 初始化过程中将 加载 neutron.agent.l3.agent.L3NATAgentWithStateReport 类以及设置一些配置参数。
   
   //step 1.2 中 class Service(n_rpc.Service) start 方法逻辑：
        1.2.1 初始化 rpc connection，并创建消费者线程 消费 rpc topic。
        1.2.2 创建loop任务周期性调用report_state方法上报 l3-agent 服务的状态
        1.2.3 创建loop周期性的任务调用 neutron.agent.l3.agent.L3NATAgentWithStateReport 中的 periodic_sync_routers_task 方法从北向neutron-server fullsync 当前host上的所有的router_ids。
        1.2.4 调用neutron.agent.l3.agent.L3NATAgentWithStateReport 中的after_start 方法处理router loop
        
        //上述步骤 1.2.3 中 fullsync routers处理过程：
            初始化 namespace_manager(neutron.agent.l3.namespace_manager.py)实例对象。该实例对象主要是l3 的router namespace，dvr_snat_ns 以及 dvr_fip_ns 进行管理。如清除ns操作等。
            通过plugin_rpc 调用get_router_ids方法从北向获取当前host上的router_ids。
            通过plugin_rpc 调用get_routers方法批量地（一次取sync_routers_chunk_size 个router）从北向获取当前host上的所有routers。
            轮训 routers，处理router:
                将router_id 加入到router namespace中的标记队列，使其在清除ns时不清楚 router的ns
                如果router 为分布式路由：
                    如果router 存在ext_net_id（即external_gateway_info属性中的network_id字段存在），将router的fip_ns加入到router namespace中的标记队列中。
                    如果router 不存在ext_net_id，且l3 agent配置为dvr_snat 模式，则namespace管理器清除router的 snat namespace。
                如果router为HA router：
                    检测router的状态是否与db状态一致，如果不一致，发送router状态变化通知。
                构建RouterUpdate对象，加入到RouterProcessingQueue 的优先级队列Queue.PriorityQueue中等待处理。RouterUpdate构建参数：
                    queue.RouterUpdate(
                            r['id'],
                            queue.PRIORITY_SYNC_ROUTERS_TASK,
                            router=r,
                            timestamp=timestamp)   // 不设置action
                设置fullsync = False
                调整sync_routers_chunk_size 的值
                将当前router_info中不在北向获取routers中的router 构建RouterUpdate对象，加入到RouterProcessingQueue中等待处理。RouterUpdate构建参数：
                    queue.RouterUpdate(router_id,
                            queue.PRIORITY_SYNC_ROUTERS_TASK,
                            timestamp=timestamp,
                            action=queue.DELETE_ROUTER)     // 设置action                
                    
        // 上述步骤 1.2.4 中 after_start()处理逻辑
            (a)启动一个协程池调用 _process_routers_loop 方法轮询处理router。处理router的方法为_process_router_update：
                按顺序从RouterProcessingQueue 的优先级队列Queue.PriorityQueue中取出RouterUpdate对象。
                    if update.action == queue.PD_UPDATE:  
                        //Processing IPv6 PD Prefix Update,and continue
                    if update.action == queue.DELETE_ROUTER 且最后的更新时间小于router的timstamp：
                        // 将router_id 从内存中保存router更新时间的self.last_update_time字典中删除
                    if update.action == queue.CREATE_DISTRIBUTED_DHCP：
                        if update.id in self.router_info：
                            // continue。此时处理极端情况，当路由更新时，distributed_dhcp_notify 被接受到
                        如果从内存中保存的_prefetched_routers能够获取到router：
                            将updateRouter中的prefetched_network 保存到router的prefetched_networks属性中
                    if update.action != queue.DELETE_ROUTER and not router:
                        通过router_id 从北向获取router，获取不到，返回异常。
                        if update.action == queue.CREATE_DISTRIBUTED_DHCP：
                            将updateRouter中的prefetched_network 保存到router的prefetched_networks属性中，并将router_id保存到内存中的_prefetched_routers字典中
                    if not router and update.action != queue.DELETE_ROUTER and update.id in self._prefetched_routers
                        // continue. Avoid removing prefetched router
                    if not router:
                        将router_id从内存中的_prefetched_routers 字典中删除
                        安全删除router：
                            通过router_id从router_info中获取当前router的router_info
                            通过namespace_manager 删除router的namespace
                            发送 router before_delete消息
                            将router的router_info信息从router_info中删除
                            发送 router after_delete消息
                        l3_agent_extensions_manager 调用配置文件中的三层agent扩展驱动(driver)调用自身的delete_router方法删除router
                        更新router的timestamp，使其在processing queue队列中变为 older events，防止删除的router重新创建。
                        将router_id从内存中的 _fetched_router_ids 字典中删除。
                    处理兼容的路由：（_process_router_if_compatible）
                        if not self.conf.enable_inat_enat:
                            创建agent gw port（floating ip gw port）。检测gw port是否存在，不存在进行创建：
                                创建fip namespace(fip-${net-id})
                                通过rpc_plugin从北向neutron-server获取agent_gateway_port
                                创建fip namespace：
                                    ip netns add ${fip_namespace}
                                    ip netns exec ${fip_namespace} ip link set lo up
                                    ip netns exec ${fip_namespace} sysctl -w net.ipv4.ip_forward=1
                                    ip netns exec ${fip_namespace} sysctl -w net.ipv4.conf.all.rp_filter=0
                                    ip netns exec ${fip_namespace} sysctl -w net.ipv4.conf.default.rp_filter=0
                                获取fg_interface_name(fg-${port_id前11位})
                                增加fip agent gateway：
                                    如果fip namespace中不存在 fg_interface_name，ovs创建该port。调用 interface_driver(neutron.agent.linux.interface.OVSInterfaceDriver) plug该接口(处理过程在dhcp agent分析过)
                                    fip namespace中初始化路由port. 调用interface_driver(neutron.agent.linux.interface.OVSInterfaceDriver) init_router_port 方法。
                                    在fip namespace中对agent_gateway_port 的每个fixip 执行garp：
                                         python ${python_site_package_dir}/neutron/agent/l3/send_arping.py ${fg_interface_name} ${fixip} ${agent_gateway_port_mac} 1
                                    在fip namespace中的fg_interface_name 接口上增加 agent_gateway_port的gw ip：
                                        ip netns exec ${fip_namespace} ip route replace default via ${gateway_ip}
                                        ip netns exec ${fip_namespace} sysctl -w net.ipv4.conf.${fg_interface_name}.proxy_arp=1
                                清除fg namespace 无用的port（lo接口除外）
                                fip ns 初始化完成        
                        if     router.get("prefetched_networks"): //router 中包含 prefetched_networks属性
                            // 调用_process_prefetched_router 方法在路由中添加 prefetched_networks 路由信息
                                    
                        如果 router 不在 router_info中：
                            // 增加router
                                从router_info中获取router
                                调用router_info中的process()方法对router进行处理（router处理的核心逻辑。详细走读下期分解）
                                发送router的 after_create 通知
                                调用l3_ext_manager 中配置的driver的 add_router方法处理l3 扩展功能
                        否则：
                            // 更新router
                                从router_info中获取router
                                发送router的 before_update 通知
                                调用router_info中的process()方法对router进行处理（router处理的核心逻辑。详细走读下期分解）
                                发送router的 after_update 通知
                                调用l3_ext_manager 中配置的driver的 add_router方法处理l3 扩展功能
                    更新routerProcess中RouterUpdate 的timestamp
                    +------------------end 完成单个RouterUpdate的处理---------------------------------+
                    
            (b) 启动一个协程池调用 _send_router_interface_garp 方法三分钟一次轮询处理，向router 发送garp。 对每个router中的每个qr port发送arp。
                在router的namespace(qrouter-${router_id})执行命令： python ${python_site_package_dir}/neutron/agent/l3/send_arping.py  ${gw_device_name} fa:fa:fa:fa:fa:fa ${qr_fixip} ${count}