声子晶体和超材料中的机器学习和深度学习—2022年综述（3）

       强化学习网络基于环境交互的原理工作。它由三部分组成，即智能体、环境和奖励，见图6。当前状态的新值基于奖励值存储在系统中。奖励过程促使智能体执行更好的动作，从而提高网络的准确性。目前，Q-learning和SARSA 是这种学习过程中使用的两种主要算法。在这里，Q函数是状态值，奖励存储在Q表中。这两种算法的主要区别在于Q表中奖励的存储机制。Q-learning算法基于下一个动作（同策略学习）存储Q值，而SARSA通过选择当前动作（异策略学习）来更新它。

        对于PnC（声子晶体）和超材料设计，需要仔细定义智能体和环境。几何和材料参数可以是智能体，而理想的响应，如能带结构或频率响应谱，则是环境。通过改变参数，可以改变系统响应。然后，训练好的模型可以确定与优化目标相对应的结构。最近，He等人[114]采用Q-learning算法来增大声子束中带隙的宽度。
       简而言之，选择哪种学习过程极大地取决于问题类型、期望的结果、计算成本和准确性。监督学习和无监督学习都是数据驱动的方法，我们需要一个输入数据库来训练和测试网络。因此，如果涉及更大的数据集，这可能会使学习过程在计算上变得昂贵。我们可以通过调整神经网络的超参数来降低计算成本。选择合适的激活函数也是另一个重要因素。因此，在尝试解决给定问题时，重要的是要获得一个适合问题复杂性的数据集，并在将其应用于模型训练之前验证数据分布。此外，在网络训练过程中，应注意不要陷入学习曲线中的局部最优。这可以通过调整和适当选择超参数来避免。

5.1 声学/弹性超材料
       本节将对利用机器学习和深度学习方法进行声子晶体（PnCs）和超材料/弹性超材料的逆设计进行最新综述。我们将从讨论用于预测一维声子晶体色散关系的机器学习方法开始。Liu和Yu [118]开发了深度反向传播神经网络和径向基函数神经网络来预测一维声子晶体的色散关系。输入数据集由传输矩阵方法生成，用于训练神经网络并检测预测准确性。报告的结果表明，这两种类型的神经网络都表现出良好的性能，并正确预测了与声子晶体相关的单元结构的能带结构。据报道，对于单个参数预测，径向基函数神经网络在较短的训练时间内表现良好。然而，对于多参数预测，深度反向传播神经网络具有更稳定的性能。后来，为了逆设计和带隙放大，Li等人应用了多层感知器（MLP）和卷积神经网络（CNN）对二维声子晶体进行逆设计。通过使用基于图像的有限元分析与MLP和CNN网络，Li等人研究了声子晶体的设计优化，以拓宽带隙宽度。神经网络的训练和设计分为两个阶段，如图7所示。首先，开发并训练了一个自编码器（AE），以从随机生成的输入设计样本中描绘声子晶体的拓扑特征，并通过成功训练解码器网络来重建样本。作者使用有限元分析（FEA）提取声子晶体样本的能带结构和频率带隙特征。声子晶体的能带结构以二进制潜在向量的形式传输到MLP网络中，其中0表示带隙，而1表示通带。通过MLP网络，建立了频率带隙与声子晶体拓扑特征之间的固有关系。然后，利用训练好的神经网络搜索具有预期带隙的声子晶体设计。输入数据是通过具有随机几何形状的解析函数生成的。这项研究基于合并CNN和MLP网络，用于逆设计和优化声子晶体，以拓宽频率带隙。

如前一节所述，生成对抗网络（GAN）是另一种基于生成器和描述器网络原理工作的神经网络。自早期发展以来，GAN在许多方面都有所改进，并应用于多种应用，如光学隐身斗篷的设计。最近，Gurbuz等人将条件GAN应用于超材料的逆设计。他们构建了一个条件GAN，以根据目标透射光谱推导出几何特征，如图8所示。开发的输入数据库基于流体环境中的C形谐振器。基于这种方法，进行有限元分析模拟以计算每个样本的频率透射特性，并将此信息与离散的几何形状相关联。经过成功训练后，GAN能够为新的超材料几何形状诱导透射光谱。为了避免高计算成本，网络在2 kHz至10 kHz的频率范围内进行训练，步长为100 Hz。尽管由于计算能力的限制，频率步长不够精细，但GAN在超材料中的应用和研究结果令人鼓舞。所开发的策略可用于设计声学和弹性超表面以及其他类型的超材料，包括拓扑绝缘体，其中需要搜索结构特征以获得所需的频率响应光谱。

假设机械设计是一场游戏，为了最大化分数，Luo等人[120]最近开发了强化学习网络来设计具有预期能带结构的层状声子晶体。通过交互式强化学习技术，开发了层状声子晶体的拓扑结构，并允许其演变，直到达到满足所需规格的拓扑结构。为了搜索所需频率范围的带隙并优化一阶带隙宽度，发现强化学习方法表现良好。在另一项工作中，Maghami等人[121]提出了深度强化学习来逆设计具有所需能带结构和带隙的层状声子晶体梁，重点关注热弹性波传播。他们使用环境、智能体和奖励的类比来准确捕获层状声子晶体梁的能带结构和频率带隙区域。同样，Shah等人[122]开发了基于水中圆柱形散射体的超材料的逆设计强化学习网络。在另一项工作中，Maghami及其同事[123]开发了一个数据驱动的声子晶体能带结构预测模型，以研究受纳米尺寸效应影响的纳米声子梁。他们使用数据驱动的深度学习工具建立了计算智能方法，以探索受热冲击载荷影响的声子晶体的设计空间。通过使用解析公式，建立了输入数据集，并训练了深度学习网络。后来，通过将深度学习网络预测与数值模拟进行比较，验证了网络效率，并报告了优异的一致性。