车辆众包中好奇心驱动的节能工人调度-Curiosity-Driven Energy-Efficient Worker Scheduling in Vehicular Crowdsourcing

研究背景

• 众包平台的任务分配模式为：云服务器将基于位置的任务分配给一批工作人员；
• 强化学习（Reinforcement Learning）的方式能学习状态-动作映射以最大化数值累积奖励信号；
• 无人机和无人驾驶汽车能为车辆众包（Vehicular Crowdsourcing）中移动人群感应提供了的新机会，它们配备了高精度传感器，可以执行来自偏远或危险区域的兴趣点（PoI）的数据收集任务，例如地震救援，交通监控或灾难报告。此外，可以通过降落在充电站上并再次起飞来为无人机充电，这使得长期的任务执行成为可能。

例如：如下图所示，创建一个无人机辅助地震后救援的三维模拟环境及相应的二维地图布局(即数据感知空间)，该环境有四个基本要素：倒塌的建筑物(Obstacles)、充电站(Charging Station)、传感器(PoIs)和无人机(Worker)。特别地，传感器是音频寿命检测仪器和红外辐射照相机，通过混合高斯分布和随机分布来生成传感器位置；同时，在模拟环境的右下角设计了一个硬勘探分区，该分区代表半毁倒塌的建筑物，无人机应努力通过狭窄的通道进入该区域，以从包围的传感器中收集数据。

问题挑战

针对上述模拟地震后无人机收集该环境数据问题的解决具有以下困难挑战：

• ① 时空数据的复杂性和相关性
  如何通过充分考虑其时空数据的复杂性和相关性来得出工作人员调度的长期最优策略？
• ② 任务执行与能量充电之间的权衡
  在存在多个随机分布充电站的情况下，何时何地充电？即如何在任务性能和能量充电之间做出最优选择？
• ③传感任务/数据分布不均,感应数据分布不均
  例如地震可能导致不同程度的不同破坏位置。

作者贡献

• 提出了一种基于DRL的解决方案，称为“ DRL-CEWS”，以最大化长期的收集总体数据，并使得在VC中的数据收集与充电之间取得平衡；利用分布式首席-雇员计算体系结构来稳定和促进策略优化过程；使用卷积神经网络（CNN）来增强感知空间中提取空间特征的能力。
• 提出了一种空间好奇心模型来预测工人的未来位置，并将预测误差作为复杂场景（例如数据分布不均匀的区域）的内在奖励。并进一步设计了一个简单而通用的稀疏奖励机制，以得出更有效的策略。
• 对特征进行了广泛的实验，可视化了好奇心效应，并验证了提出解决方案的有效性，同时与其他方法进行了比较。

总体模型

如下图所示，本系统主体由一个主线程和多个员工线程组成，该体系结构的中心从左至右排列分别为：全局好奇心模型、好奇心（Curiosity）梯度缓冲区、近端策略（PPO）梯度缓冲区和全局好奇心模型。其中，①好奇心（Curiosity）模型的作用是产生内在