多智能体强化学习博弈系列（4）- 模糊Q(lambda)-learning

基于模糊输入的$Q(\lambda )$-learning（QLFIS）是一个由控制器和模拟器两个部分组成的模糊系统，结构类似于actor-critic learning，但由于对于action的选取仍然基于max(Q)，即唯一的最优行为，所以是Q-learning的一种。在模拟器中采用了eligibilty trace更新多个time steps中的reward，根据更新时间距离当前时间的距离，衰减参数为$\lambda$，所以叫$Q(\lambda )$-learning。

QLFIS 系统简介

在Carleton两位教授的原始论文Q(lambda)-learning fuzzy logic controller for a multi-robot system - S. Desouky and H. Schwartz中，采用的算法不仅对控制器和模拟器的输出参数做了学习，还包含了对输入参数（membership function的参数）做了学习。

如图所示：FLC(fuzzy logic controller)是生成最终行为$u$的控制器，system是环境，会对系统输入环境反馈。FIS(fuzzy inference system)是模拟器，输出value function $Q(s_t,a)$。

TD error ${\delta }_t=r_{t+1}+\gamma ma{x}_{u^{\prime }}Q(s_{t+1},u^{\prime })-Q(s_t,u_t)$用来计算参数更新用的梯度。为简单期间，$max_{u’} Q(s_{t+1},u’) $的估算是靠计算q-table中的最大概率行为对应的Q值。

$Q_{t+1}(s_t,u_t)=Q_t(s_t,u_t)+\alpha {\delta }_t{e}_t(eq.5.59)$

其中 $e_t=\gamma \lambda e_{t-1}+\frac{\partial Q_t(s_t,a_t)}{\partial \xi }(eq.5.60)$，

$\xi =[Kc\sigma {]}^T$是被更新的参数，更新公式：

${\xi }_{FIS}(t+1)={\xi }_{FIS}(t)+\eta {\delta }_t\{\gamma \lambda e_{t-1}+\frac{\partial Q_t(s_t,u_t)}{\partial {\xi }_{FIS}}\}(eq.5.61)$

${\xi }_{FLC}(t+1)={\xi }_{FLC}(t)+\zeta {\delta }_t\left\{\frac{\partial u}{\partial {\xi }_{FLC}}\right(\frac{u_n-u}{{\sigma }_n}\left)\right\}(eq.5.62)$

其中：

$\frac{\partial Q_t(s_t,u_t)}{{\xi }_{FIS}}=\lfloor$