强化学习用于流体形状生成

论文：Flow Shape Design for Microfluidic Devices Using Deep Reinforcement Learning
这篇论文解决的问题是微流体的形状生成过程的设计，似乎是微流体在通过有障碍物的微管时，就会不可逆的变形成某一形状(形状取决于微管中的障碍物位置和形状），这一技术可应用于生物领域、化学反应控制、材料制造等方面。当然这不是重点，这篇论文的目标就是，给定一个目标形状，运用强化学习算法学习得到能把流体变成目标形状的障碍物序列。（如下图所示）

所用的强化学习架构也并不复杂，流体现有的形状作为observation，action是下一个障碍物（圆柱体）的位置 (离散成了32个位置)，reward则是得到的形状和目标形状的匹配度(Pixel Match Rate, PMR)。整体使用DDQN架构进行更新，observation经过两个卷积层一个全连接层，得到32个预测Q值，