帮我满绩的多智能体系统期末开卷提纲

1.Agent性质:举例可以自然agent,羊群的羊,自主传输机器人

自治性:对行为及自我状态进行控制、移动搬运物品

反应性:可感知环境并根据环境变化作出反应识别,避开障碍物

目标主动性:基于既定目标主动发起行为  接受自然语言命令

社会交互性:通过群体合作与协调实现设计目标（无人机群）

体系架构：基于推理、反应、分层、信念

分类方式：体系架构，附加属性（可移动、可协作agent）

多智能体系统（MAS）能力: 感知,相互通讯,计算,控制

特性:分布式、开放性、动态性

交互结构举例:纯分布式 联盟结构 等级层次结构

交互结构特征：小世界、无标度（幂律分布）、网络层次

应用举例：足球机器人协作配合

2Agent基本形式化:A=<R资源,Loc局部信息,Obj目标,S行为策略>（举例自动驾驶汽车、足球机器人、智能家居机器人）

MAS=<A智能体集合,E交互链接,Obj目标,Rule系统规则>

多智能体系统问题求解:  复杂性维度规划期具体举例

高层,低层(更多细节)抽象

表示：知识层到符号层

推理:简化环境,建agent

可满足解,近似最优解,可能解

3多智能体交互结构  表示方法:图(A智能体,E交互链接)

度量指标：度k、平均路径长度L=112AA-1ai,aj∈Adij（1/2）

聚类系数（Ei表示节点的邻居之间存在的实际边数；2.Ki表示节点ai的邻居个数）Ci=Ei12ki(ki-1)

平均聚类系数C=Ci|A|，全局聚类系数

基本模型:全局耦合网络、k=A-1，L,C全为1

1,聚类性2,小世界性质 3,便于协调

最近邻… (任意节点均与其左右k/2(偶)个邻居节点相连)k=k,L≈A/2k,C=3(k-2)/4(k-1) 聚类性,不具有小世界,难以全局协调

星状网络k=1,L=2(A-1)/A C=0 具有小世界,便于协调,鲁棒性差

随机…K=p(A-1) L正比lnA/lnK C=p具有小世界,p小无高聚类

WS小世界模型:1.建立规则图（最近邻耦合网络）2.随机化重连（以概率p将另一点链接）

NW…:1.建立规则图（同上）2.随机化加边（以概率p在任意一对节点间增加边）ws:k=k     nw: k=k+p(A-1) CWS=3(K-2)4(K-1)(1-p)3CNW=3(K-2)4(K-1)+4Kp(p+2)

无标度网络BA:1.网络增长特性:建立n个节点网络，每次增加一个节点链接到已有的m个节点上2.优先链接特性(新节点与已存在节点a建立链接的概率pi=ki/Σkj) 幂律:倾向于度大节点

Lscale-free=lnNlnlnN

度中心性(度越大越重要)介数中心性(最繁忙节点)接近中心性

交互链接:强链接与弱链接:如果两个节点的共同邻居在所有邻居中比例越高，则认为这两个点间的连接强度越大。

平衡交互结构（+++）（+--）看是否能分成组或都是好朋友

4多智能体协作：解决效率问题

集中式协作方式:决策并集中控制，自上而下层次控制结构

主要方法:集中式协商 (投票协商);运筹学方法;集中式学习方法

优:协调性较好;可得到全局最优解 劣:实时性,动态性差

分布式协作方式:自行处理信息,与其他智能体通讯协调

主要方法:合同网模型,分布式黑板模型,分布式学习;博弈论

优:有较好的容错能力和扩展能力,不需要集中控制单元

劣:对智能体间通讯要求较高,多边协作效率低,难实现全局目标

黑板模型:知识源KS(条件-动作)+黑板+监控机制（根据问题求解状态(黑板)+求解技能(各KS)依据某种控制策略，动态选择和激活合适的KS，使知识源能实时地响应黑板的变化）

中心式:简单易行,易产生性能瓶颈 分布式:可靠性强,灵活性强

模型特点:1.黑板模型各主体(即KS)之间相互独立，主体之间不存在相互作用2.黑板模型能够灵活表示信息3.黑板模型使用共同的交互语言4.黑板模型具有独立的监控机制5.黑板模型适合于在多重抽象级上描述与处理问题6.黑板模型是机遇问题求解机制，适合于事先无法确定问题求解次序的复杂问题7.黑板模型提供了集成现有软件的方法，适用于软件开发

合同网模型：管理者+工作者

管理者：1,对每一待求解任务建立任务通知书Task-Announcement,发给工作者2,接收并评估投标3,从中选择最合适的工作者,建立合同Contract4,监督任务完成,综合结果

工作者1,接收任务通知书2,评价自己资格3, 对感兴趣子任务返回任务投标4, 若投标被接受,按合同执行任务5,向管理者报告求解结果

任务通知书:1,收件人Addressee一个或多个可能求解任务主体2,资格说明Eligibility Specification规定投标主体应满足条件3,任务简述Task Abstraction任务简要描述，是工作者决策是否投标依据4,投标说明Bid Specification向各主体说明投标必须提供信息5终止时间Expiration time接收投标截止时间

模型特点:1,合同网任务的产生、任务的分配、管理者、合同者的产生均是动态的,其灵活性较好2,订立合同需要预先订立协议.任务不明确的大规模,动态环境下的任务分配问题,管理者并不了解实时情况下有哪些智能体可以完成任务3,当更有能力的主体在合同建立之前处于忙状态时,管理者只能选择一个有限能力的智能体,也即解可能不是最优的4.忽略了任务之间可能存在的各种关联,更适用于任务能够较容易地独立分解,即分解后各个的子任务之间不存在相相互作用的问题5各智能体间以广播的方式互相通信,若智能体数量多则通信效率较低

联盟模型:单个智能体无法解决问题(实例邮递员问题)

形成过程:产生联盟结构:找到能够达成目标的智能体构成联盟；任务分配:将可能的联盟的资源和任务进行组合分配,求得相应的联盟值,用于评估联盟的收益,并根据收益进行任务分配;

效用分配:为保证联盟中的智能体能够长期稳定的在当前联盟中提供资源，需进行合理的收益分配。

博弈基本要素：参与者、策略集、收益

基本假设:已知的收益矩阵,理性的参与者,独立的决策(结论:选择严格占优策略;理性个体选择可能会得到群体收益次优结果)

最佳应对:(对于策略)>=其他策略       严格最佳应对:=

占优策略:(参与者)都是最佳应对       严格占优策略同上

纳什均衡: S，T互为最佳应对的策略组(S,T)

多重均衡:协调博弈    存在两个纳什均衡:(a, a),(b, b)

这种博弈,通常参与者会选择收益更高的纳什均衡点

零和博弈(警察小偷):不存在纯策略纳什均衡(混合策略:一定概率选择策略)

⭐混合策略纳什均衡:甲采用混合策略p为乙采用混合策略q的最佳应对;乙采用混合策略q为甲采用p的最佳应对

甲混合策略p乙纯策略收益E_payoff乙(p, S)=E_payoff乙(p, T)

迭代剔除:剔除劣势策略

重复博弈：有限次重复博弈(囚徒)、无限次…

无限重复PD策略:allC,allD,Grim,以牙还牙TitFotTat(TFT)

当R/(1-d) > T+dP/(1-d) 即d > (T-R)/(T-P)）时，（TFT，TFT) 为纳什均衡，合作得以维持，囚徒走出困境

Grim:对手选择D之前选择C,当对手选择D后,一直选择D

TFT’ :在第一轮选择D策略，随后选择对手上一轮采用的策略

当R/(1-d) > (T+dS)/(1-d2)（即d > (T-R)/(R-S)）时，（TFT，TFT) 为纳什均衡，合作得以维持，囚徒走出困境。

5自组织self-organization概念:组织:1系统内部按照一定规则形成的特定结构和功能2系统中的要素按照某种指令形成特定结构和功能的过程——组织化3组织化的必要条件:信息

自组织：系统的要素通过彼此的相干性、协同性或某种默契而形成的特定结构和过程

自组织特点:局部化和分散化,简单个体自组织完成复杂任务

行为特征：没有明确外部控制、分散控制、动态性和进化性

分类(是否有明确控制中心):弱自组织系统(有)、强自组织系统

基于直接交互的自组织结构:(连接一个取消一个)优点:简单,高效 缺点:智能体数量过大时收敛速度慢,不适用于大规模系统

基于度链接优点:拥有很多连接的个体,一般能较快的学习到主流策略,所以与度最大的个体建立连接可以更快的完成学习

基于表现链接优点:通常使用好策略的agent收益会更高,与收益高的agent建立连接可以更好的学习到这种策略

随机全局链接、全局建议链接

间接交互:信息通过中介进行交互

中心节点:优点:公平,安全  缺点:效率低,具有单点故障的问题

中介节点:执行+中介         agent状态切换机制(实现负载平衡)

优:提升效率,负载平衡 劣:中介进行链接切换,有一定系统开销

能力资源自组织:（给定方法,用一些例子进行说明）

基于强化的资源自组织机制:先分配，后根据负载率等调整

基于贪心…:优先满足当前表现最好的;简单表现好;不够灵活

基于市场…:动态调整价格agent支付价格购买;灵活,鲁棒性好

例如：云计算、股票价格波动

基于拍卖…:招标投标中标;可靠性高，灵活性强

任务分配集中式:实现简单,具备产生全局最优解潜力,适用于小规模系统整数规划、搜索算法A*,启发式、智能优化,遗传算法

分布式:可并行计算,可快速计算方案,对动态环境效果好,适用于大规模系统基于行为激励,市场机制(合同网,拍卖)、空闲链

负载均衡静态: 根据当前状态调整可很好实现某个时刻的负载均衡;对未来的负载情况无能为力;动态任务环境下开销较大

方法：基于博弈论，任务信息的负载平衡

动态: 利用历史信息预测可以缓解未来负载不均衡情况,减少系统计算负载均衡的开销,适用于动态任务环境

方法：基于指数平滑方法，服务复制与转移的负载平衡

6群体现象:个体决策+系统规则

群集策略演化:

演化稳定策略S:当某个具有原始策略S的系统,产生了采用策略T的突变个体;如果经过演化,采用T的突变个体最终消失。

S演化稳定条件:payoffS > payoff(Δ为无穷小量)pfSS > pfTS

策略演化稳定性: 严格纳什均衡（pfSS > pfTS），

弱纳什均衡(pfSS = pfTS),若pfST > pfTT,S是演化稳定策略

经典系统规则:

亲属选择,直接互惠{TFT, AllD},间接互惠:信誉机制q匹配

群集信息传播:线性阈值:激活后向外传播,

独立级联模型:激活概率(每个节点只有一次机会激活邻居节点)

传染病模型

SI      ds=-βs(t)i(t)  i0

SIR    ds=-βs(t)i(t)   di=βs(t)i(t)-γi(t)  dr= γi(t)  i0  s0

SIS    ds=-βs(t)i(t)+ γi(t)   di=βs(t)i(t)-γi(t)  i0

SIRS  ds=-βs(t)i(t)+δr(t)   di=βs(t)i(t)-γi(t)  dr=γi(t)-δr(t)  i0  s0

SEIR  ds=-βs(t)i(t)   de=βs(t)i(t)-we(t)  di = we(t)- γi(t)  dr= γi(t)

E0  i0 r0

7群集运动:系统中个体行为规则时间演化形成规律性的场景

群体行为理论是基础核心; 信息交互方式:分布式协议

典型:多无人机系统,工业环境下多机器人系统,城市交通网络

一致性:多智能体系统个体调整更新行为,最终每个个体相同

群一致性: 多智能体个体被划分成若干个子群，同一个子群中的个体趋于同一状态，同时不同子群中的个体趋于不同

Boid规则:分离 (避免碰撞),对齐 (方向统一),聚合 (群体聚合)

路人模型:

多机器人追逃问题：