读书笔记：多智能体机器学习（三）

微分博弈

	One player	Many players
Static	Mathematical programming	(Static) game theory
Dynamic	Optimal control theory	Dynamic/differential game theory

模糊系统 — 模糊推理系统（FIS）

模糊系统的用例场景：

• 飞行器/航天器：飞行控制、引擎控制、航空电子系统、故障诊断、导航和卫星姿态控制；
• 机器人：位置控制与路径规划；

模糊集

The universe of discourse $X$ is defined as a collection of element $x$ that have the same characteristics.

$X$ 中的模糊集 $A$ 可表示为 A = { ( x , μ A ( x ) ) ∣ x ∈ X } . A = \{(x, \mu_{A}(x)) \mid x \in X\}. A={(x,μA​(x))∣x∈X}. 此处的 $ \mu_{A}(x)$ 是模糊集的隶属函数（MF，membership function）。

• MF可在$0\sim 1$ 取值；当其取0（或者1）时，成其对应的模糊集为空集（或者全集）；
• 模糊集理论中的并集和交集运算定义如下：$$\begin{array}{rl}{\mu }_{A\cup B}(x)& =\max [{\mu }_A(x),{\mu }_B(x)],\\ {\mu }_{A\cap B}(x)& =\min [{\mu }_A(x),{\mu }_B(x)];\end{array}$$

模糊规则

IF-THEN 模糊规则（Fuzzy IF-THEN rules）：$${\mathcal{R}}_l:\text{IF }x\text{ is }A\text{ THEN }y\text{ is }B.$$ 此处，

• $x,y$ 称为模糊变量或语言变量（fuzzy or linguistic variables）；
• 集合 $A,B$ 是在 $X,Y$ 中定义的模糊集；
• $x\text{ is }A$ 称为前件或前提（antecedent or premise）；$y\text{ is }B$ 称为后件或结论（consequence or conclusion）。

Takagi-Sugeno (TS) 模糊系统中采用的IF-THEN 模糊规则给出了从输入模糊集到输出线性函数之间的映射关系，具体表现为 $${\mathcal{R}}_l:\text{IF }{x}_1\text{ is }{A}_1^l\text{ AND }{x}_2\text{ is }{A}_2^l\text{ AND }\cdots \text{ AND }{x}_j\text{ is }{A}_j^l\text{ THEN }{f}_l=K_0^l+\cdots +K_j^l{x}_j.$$ 此时，$f_l$ 为规则 $l$ 的输出函数，$K_n^l$ 是后件参数。

模糊推理机

模糊推理机（fuzzy inference engine）用于将模糊规则库中的IF-THEN模糊规则组合成从模糊集 $A^{\prime }\subset X$ 到模糊集 $B^{\prime }\subset Y$ 的映射。

直积推理机（product inference engine）

• 基本运算

运算	常用算子
$$\begin{array}{rl}{\mu }_{A\cap B}(x)& =T({\mu }_A(x),{\mu }_B(x))\\ & \triangleq {\mu }_A(x)\ast {\mu }_B(x)\end{array}$$	$$\begin{array}{rl}\text{Minimum: }{T}_{\min }(a,b)& =\min (a,b);\\ \text{Algebraic product: }{T}_{ap}(a,b)& =ab.\end{array}$$
$$\begin{array}{rl}{\mu }_{A\cup B}(x)& =S({\mu }_A(x),{\mu }_B(x))\\ & \triangleq {\mu }_A(x)\dotplus {\mu }_B(x)\end{array}$$	$$\begin{array}{rl}\text{Maximum: }{S}_{\max }(a,b)& =\max (a,b);\\ \text{Algebraic sum: }{S}_{ap}(a,b)& =a+b-ab.\end{array}$$

• Mamdani implication 用于解释模糊关系 $${\mu }_R(x,y)={\mu }_{A\times B}(x,y)={\mu }_{A\to B}(x,y)={\mu }_A(x)\ast {\mu }_B(y).$$
• 广义假言推理（generalized modus ponens）$$\begin{array}{rl}\text{premise 1 (rule): }& \text{if }x\text{ is }A\text{ then }y\text{ is }B\\ \text{premise 2 (fact): }& x\text{ is }{A}^{\prime }\\ \text{conclusion: }& y\text{ is }{B}^{\prime }.\end{array}$$ 基于此，模糊集 $B^{\prime }$ 被推断为 $${\mu }_{B^{\prime }}(y)=\underset{x\in X}{\sup }T[{\mu }_{A^{\prime }}(x),{\mu }_{A\to B}(x,y)].$$

模糊与去模糊

• 模糊系统

• 模糊化接口：将具有精确值的输入转化为隶属函数中的隶属度；
• 去模糊化：将模糊度转化为精确量。常用加权平均去模糊法，即 $$f=\frac{{\sum }_{l=1}^M\left({\prod }_{j=1}^J{\mu }^{A_j^l}(x_j)\right)f_l}{{\sum }_{l=1}^M\left({\prod }_{j=1}^J{\mu }^{A_j^l}(x_j)\right)},$$ 其中，$J$ 是输入变量个数；$M$ 为规则个数。

模糊学习

将模糊系统与Q学习等相关机器学习方法结合，可用降低处理复杂度以及避免维数灾难。

群体智能（未来趋势？）

• （早期）遗传规划：合作解决问题的能力；
• 主要思想： 个体可通过观察其他个体的行为而直接从环境中获取信息的一种协同机制。
  • 通信带宽减少；
  • 环境表征很重要；
  • 传感器是关键硬件技术。

环境表征

环境表征的方式对于采用何种技术进行控制、如何利用博弈论实现回报具有很大影响；为了减少智能体的计算量，环境可由 co-fields 技术进行表征。

对于每一个智能体，按照其感知的对象创建势场 $$F_{\text{T}}=\sum _{\text{attractive}}{f}_i+\sum _{\text{replusive}}{f}_j.$$

性格特征

一般假设所有智能体在初始配置与能力是相同的。设置 ${\gamma }_i$ 为性格特征，即面对环境变化时的个人意向。对应性格特征有回报函数。

个人理解：智能体模仿人类行为，如面对意外时，有些倾向于个体保护，有些倾向于群体保护，有些倾向于不动产保护；如果根据现场情形，部署合理比例的智能体可获得最大收益。