论文阅读-移动性预测

方案

1. 使用中间节点传送消息，需要控制设备移动性和设备之间的交互，利用移动性再延迟容忍网络中数据传输，引入一组称为消息轮渡的特殊移动系欸但复杂为网络中的节点传送数据，解决方案是使得延迟最小化。

论文1

Discussion

1. 通信延迟是很重要的环境约束，对碰撞发生的次数有着较大影响，仿真数据显示从环境中消除1秒的通信延迟能够导致减少平均90%的碰撞和超过20%的有效速度，使用进化优化的参数进行模拟， 减少现实生活中机器人系统的通信延迟应该是一项主要的技术改进，另一方面，在没有延迟的情况下执行模拟可能会在真实环境中导致错误和不稳定的结果。
2. 通信范围受限并不会是一个瓶颈问题，通常通信范围不受限并不会导致更好的效果，但是通信范围必须要随着速度的扩展而扩展。

论文2 A Unified Framework for Joint Mobility Prediction and Object Profiling of Drones in UAV Networks

本文开发了一种无监督的在线学习方法，无人机可以获取更多关于其邻居系欸但的移动性，感知和驱动能力的信息，从而做出更有效的决策。
所提出的方法可以预测周围飞行物体的未来位置，而且在没有关于这些类别的先验知识的情况下，将它们分为具有

迁移率预测方法：

1. 基于数据驱动和基于模型的方法
2. 数据驱动需要大数据集来提取最频繁的模式，
3. 基于模型的移动预测模型基于物体运送的历史来预测物体的运动轨迹，（方法包括分段方法[26]、隐马尔可夫模型[27]、利维飞行过程[28]、贝叶斯方法[29]、流形学习[30]和混合高斯模型[29]。）
4. 本文目标：预测目标节点的近期位置，
5. 参数：就是模型可以根据数据可以自动学习出的变量，应该就是参数。比如，深度学习的权重，偏差等
6. 超参数：就是用来确定模型的一些参数，超参数不同，模型是不同的(比如说：假设都是CNN模型，如果层数不同，模型不一样，虽然都是CNN模型。)，超参数一般就是根据经验确定的变量。在深度学习中，超参数有：学习速率，迭代次数，层数，每层神经元的个数等等。
   
   
   何强化学习？强调如何基于环境而行动，以取得最大化的预期利益。
   智能体针对当前状态采取一个动作后，环境的状态发生改变，同时向智能体反馈奖励信息。策略就是面对状态应该如何采取动作。强化学习的目标是，通过与环境的交互，找到最佳策略，以获得最多的奖励。恰当得时候采取了恰当的行动，获取得到更高的奖励。
   移动机器人方面，自主避障导航是底层应用的关键技术，近几年通过强化学习的方法来学习单机器人导航策略这方面的工作成果比较多；而当环境中存在多个移动机器人同时向各自目标点移动的时候，需要进一步考虑机器人之间的相互避碰问题，这也是 MARL 在多机器人导航（multi-robot navigation）领域的主要研究问题。Jia Pan 教授团队 [13] 在控制多机器人避碰导航问题上使用了集中式学习和分布式执行的机制，在学习过程中机器人之间共享奖励、策略网络和值函数网络，通过共享的经验样本来引导相互之间达成隐式的协作机制。

作者：机器之心
链接：https://zhuanlan.zhihu.com/p/272735656
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

考虑多智能体问题时，主要的方式是在值函数的定义或者是策略的定义中引入多智能体的相关因素，并设计相应的网络结构作为值函数模型和策略模型，最终训练得到的模型能够适应（直接或者是潜在地学习到智能体相互之间的复杂关系），在具体任务上获得不错的效果。

论文中对空域划分成不同方块，
每个方块我们都可以视为马尔可夫预测当中的一个状态，状态转移的过程即：在事件发展过程中，从一种状态转化为另一种状态，叫状态转移，即从一种状态转化到其他状态的概率，

状态转移概率矩阵 假定某一种被预测的事件有E1，E2，…，En，共n个可能的状态。记Pij为从状态Ei转为状态Ej的状态转移概率，作矩阵

https://zhuanlan.zhihu.com/p/53474965

马科夫预测：https://blog.csdn.net/qq_41686130/article/details/81906527