Ambari Agent源码梳理

本文主要讲述Ambari Agent。源码版本为2.5
（备注：在持续阅读Ambari 源码过程中，内容会不断更新。如果文章有错误，欢迎指正）

目录

1. Ambari-Agent启动
   1.1. Ambari-Agent启动脚本
   1.2. Ambari-Agent 启动过程
2. 关于Controller线程和Agent 主要功能模块
3. Service Auto Start
   3.1. 关于Service Auto Start
   3.1.1. 不支持“不活跃”到“活跃”状态的维护导致的问题
   3.2. Server中对Service Auto Start的处理
   3.2.1. 相关Rest API
   3.2.2. 服务设置Auto Start
   3.2.3. Server处理Auto Start Put请求
   3.2.4. Server将Auto Start动作下方给Agent
   3.3. Agent中对Service Auto Start的处理
   3.3.1. RecoveryManager工作原理
   3.3.2. 主要函数具体处理流程
4. Agent指令执行过程
   4.1. StatusCommands指令执行过程
   4.2. CancelCommands指令执行过程
   4.2.1. 关于CancelCommands的缺陷性
   4.3. executionCommands指令执行过程
5. Ambari Alert
6. Ambari Agent ActionQueue梳理
7. Agent 和Server通信过程梳理

---

1. Ambari Agent启动过程

1.1.Ambari-Agent启动脚本

           Ambari-Agent的启动脚本为/etc/init.d/ambari-agent。该脚本主要实现了start,stop,status,restart,reset方法。对于start,stop,status,reset方法的实现，直接调用/usr/sbin/ambari-agent脚本，将所有命令参数传入进去。Reset直接调用stop,在调用start。
           对于/usr/sbin/ambari-agent的执行如下：

1. 参数检测，如果设置了“–home”参数，则根据参数值，设置HOME_DIR。Ambari-Agent允许在单台节点上运行多个agent客户端（进行集群模拟），每个客户端有自己的配置文件目录。默认情况下，HOME_DIR为空。

2. 设置环境变量CONFIG_FILE=HOME_DIR/etc/ambari-agent/conf/ambari-agent.ini。默认情况下，CONFIG_FILE=/etc/ambari-agent/conf/ambari-agent.ini。

3. 解析CONFIG_FILE文件，根据该配置文件，进行相关环境变量的设置。

4. 检测用户权限，如果该用户不是root用户，则检查该用户是否有sudo权限（通过是否能执行sudo -l 命令，只有拥有sudo权限的用户能使用-l参数）

5. 根据命令，进行命令处理。这里只说明start命令的处理，处理步骤如下：

   a)检查当前python版本；
   b)根据pid文件，检查当前是否有正常运行的agent进程（如果存在pid文件，且存在进程的进程号等于pid文件中记录的进程号，则认为agent已经启动，则抛出异常，返回）
   c)修改相关文件目录权限；
   d)后台运行python脚本,脚本为：/usr/lib/python2.6/site-packages/ambari-agent/AmbariAgent.py。
   e)等待2秒，等待AmbariAgent运行一段时间（AmbariAgent会启动子进程，该进程会创建pid文件，将子进程的pid号写入到pid文件中）；
   f)根据pid号检查agent是否启动正常。
   注意：pid文件不是在启动脚本中创建写入的，而是在/usr/lib/python2.6/site-packages/ambari-agent/main.py中的daemonize函数中创建写入的，写入的是运行main.py的进程号。

1.2.Ambari-Agent 启动过程

           从Ambari-agent启动脚本可知，ambari-agent启动入口点为：/usr/lib/python2.6/site-packages/ambari-agent/AmbariAgent.py。下面主要分析AmbariAgent.py的运行过程。
           AmbariAgent.py脚本比较简单，主要工作是启动子进程，运行/usr/lib/python2.6/site-packages/ambari-agent/main.py脚本。当脚本运行结束后，清理其产生的pid文件。
下面看看main.py主要运行过程如下：

1. Signal信号绑定：
a)主要绑定SigInt信号处理器、SigTerm信号处理器
b)绑定debug类型的SigUSR1,SigUSR2信号和信号处理器
c)创建HeartBeatSopCallback回调处理器。

2. 执行main函数：
a)解析运行参数；
b)日志配置处理；
c)加载解析Ambari-Agent配置文件，解析参数；
d)添加系统日志处理器；
e)启动DataCleaner线程（如果配置文件中配置了data_cleanup_interval参数，且参数值大于0的话）；
f)Agent配置检查;
g)建立tcp服务器，启动tcp服务器（该服务器作为一个机器级的全局的锁）；
h)非windows系统，则创建pid文件，写pid
i)获取配置文件中配置的server列表，依次不断的去连接server,直到和某个server建立连接（或是agent停止）。如果连接成功，调用run_thread方法开始Server - Agent通信流程。
其中run_thread方法执行过程如下：
①　创建Controller线程并启动线程；
②　当Controller线程处于alive状态时，每隔0.1S去检查Controller的Status_Command_Executor状态，如果Status_Command_Executor设置了重启标志，则重启Status_Command_Executor。
③　如果Controller线程处于Dead状态，则给Status_Command_Executor发送agent-stop信号，停止该线程。
整个启动过程过程如下图所示：

2. 关于Ambari Controller线程 和Agent 主要功能模块

           Controller线程是Agent的核心，Agent和Server的交互都是通过Controller线程完成的。通过了解Controller线程，可总体了解Agent的运行框架和主要功能。

Controller线程由main进程创建，线程初始化主要包括：
①　基本参数值设置、初始化，如agent版本，主机名等；
②　请求url配置，如register请求url,heatbeat请求url等；
③　各种cache地址初始化，包括code cache,configuration cache等；
④　初始化ClusterConfiguration属性；
⑤　初始化aler_schedule_handler属性，该成员为一个线程，启动该线程。

Controller线程核心代码（run函数运行逻辑）：
①　初始化actionQueue属性（ActionQueue为线程对象）；
②　初始化statusCommandExecutor属性；
③　启动actionQueue线程；
④　初始化registered，heartbeat属性；
⑤　构建全局的Openner;
⑥　调用registerAndHeartbeat方法，进行host注册、心跳过程（心跳是一个不断循环的过程）
⑦　检查是否需要重新注册，（执行到7，说明心跳结束），如果设置了重新注册标志，则跳到6，否则该线程运行结束。
运行流程如下图所示。

注册+Heartbeat过程在registerAndHeartbeat中实现，其主要过程如下主要执行过程：
①　调用register函数进行host注册，注册步骤如下：
②　注册成功，则调用heartbeatWithServer函数，开始心跳过程。
上述过程如下图所示：

在r