利用强化学习设计具有目标有效杨氏模量的复合材料

PS:

杨氏模量 E ：杨氏模量，是一种机械性能，用于测量纵向施加力时固体材料的拉伸或压缩刚度。它量化了拉伸/压缩应力之间的关系（单位面积力）和轴向应变（比例变形）在材料的线性弹性区域中。（比如：拉一根金属丝的末端或者在一根木棍的上方放置一个重物，金属丝会变长、木棍长度会缩短）

泊松比 ν : 泊松比是指材料在单向受拉或受压时，横向正应变与轴向正应变的比值，也叫横向变形系数，它是反映材料横向变形的弹性常数。

描述材料在正交与单一轴应力方向上的响应（金属丝变细、木棍变粗）

拉丁超立方抽样（英语：Latin hypercube sampling，缩写LHS）是一种从多元参数分布中近似随机抽样的方法，属于分层抽样技术，常用于计算机实验或蒙特卡洛积分等。

【深度强化学习】Hindsight Experience Replay（HER）：一种对抗稀疏奖励的经验回放技术 - 知乎

0 摘要

增材制造(Additive Manufacturing)的进步使得以前无法实现的材料和结构的设计和制造成为可能。特别是，复合材料和结构的设计空间已大大扩展，由此产生的规模和复杂性挑战了传统的设计方法，如暴力探索和一次一因素（OFAT）探索，以找到最佳或定制的设计。为了应对这一挑战，出现了有监督的机器学习方法，使用精心策划的训练数据对设计空间建模；然而，训练数据的选择通常由用户决定。在这项工作中，我们开发并使用了一个基于强化学习（RL）的复合材料结构设计框架，该框架避免了用户选择训练数据的需要。对于由柔性和刚性组成材料的5×5复合设计空间，可以使用由个设计可能性组成的总设计空间的2.78%来训练模型。此外，开发的基于RL的框架能够以超过90%的成功率找到设计。这种方法的成功促使未来的学习框架利用RL设计复合材料和其他材料系统。

关键字：神经网络、复合材料设计、有限元分析、自动化设计、机械性能

1 引言

        工程复合材料和结构与各自的成分相比，能够实现优异的机械性能[]。根据性能定制满足需求的设计能力使得在航空航天、汽车和海事行业中得到了广泛应用[]。虽然设计过程以前依赖于领域专业知识、仿生学、蛮力穷举搜索或迭代试验和错误[]，但最近添加剂制造（AM）的进步极大地增强了可实现的设计空间，并挑战了探索设计空间的传统方法[]。AM提供的设计自由度通过允许制造具有任意几何形状和跨越不同长度尺度的材料分布的复合材料，大大扩展了设计空间。这种扩展也带来了一些挑战，例如如何快速有效地探索广阔而复杂的设计空间，以实现最佳或目标机械性能。虽然提出了更传统的优化技术，但其鲁棒性往往受到设计问题复杂性的限制。

        为了克服其中一些设计挑战，特别是那些与探索和建模设计空间有关的挑战，我们建议使用强化学习（RL）。RL算法通过交互学习对问题空间建模，并可以优化以解决特定的控制问题。我们提出了一个设计框架，该框架利用RL来设计和寻找满足指定性能目标的复合设计（图1A）。虽然所学的模型不能为任意复合材料设计问题提供通用的解决方案，但我们的工作为成功地将设计问题框架化为RL问题提供了指导。虽然基于学习的框架比使用更传统的技术运行的任何一种优化都更加数据密集和计算密集，但它们在规模上提供了潜在的好处，在这种情况下，训练后的推理成本可以大大降低。

• 用于设计参数化复合材料的强化学习（RL）框架，该复合材料由组成材料的刚性和柔性构建块组成，以满足指定的目标模量（A）。

        在这项工作中，我们主要考虑一个双材料复合设计问题，我们试图优化复合材料设计，以实现特定的材料性能。(1)基于RL的设计框架采用初始复合材料设计和用户指定的预期材料特性，包括目标弹性特性和材料组成，并反复修改设计，直到满足预期特性。(2)设计参数化为组成材料的2D网格，学习策略一次调整一个网格单元的设计。(3)将所需交互的数量上限设置为网格中的单元格数量。实验说明，尽管在训练期间只探索了不到5%的设计空间来解决我们的设计问题，但学习到的RL策略能够在测试中成功解决95%以上的设计任务。

2 相关工作

        为了克服添加剂制造中设计优化的挑战，将计算方法和优化算法相结合的技术，如拓扑优化，使定制复合材料的设计具有目标结构和材料设计要求，如弹性性能、泊松比和可调应力-应变曲线[]。尽管这些方法在特定类别的问题上取得了成功，但它们往往受到设计空间的复杂性和相关计算成本的限制。

        最近，基于机器学习的设计框架在设计和发现具有最佳或目标特性的材料和结构方面取得了成功[]。特别是在复合材料设计领域，利用人工神经网络和深度学习的ML技术已用于分类应用[]和逆向设计应用[]。这些应用证明了利用设计空间小部分观察结果训练基于ML的模型的能力，从而成功评估或预测机械性能。精确ML模型开发面临的一个重要挑战是如何选择合适的训练数据，因为对不足或选择不当的数据进行训练可能会产生劣质模型。在实践中，通常使用均匀随机抽样或设计实验方法来选择训练数据，如拉丁超立方体抽样；然而，这些方法的适用性受到设计空间大小和计算或实验成本的限制[]。

        ML模型的成功依赖于适当选择的训练数据，这推动了自动选择训练数据的方法的开发和应用。解决这一挑战的一种方法是强化学习（RL）[]。RL模型，也称为RL代理，与系统进行迭代交互，以影响系统的状态。可以定义奖励函数来反映代理所采取行动的效果，而不是管理行为数据集。RL代理的行为以获得最大回报为条件。这将一些负担从数据集管理转移到奖励功能工程，但在处理大型数据空间时，后者可以更直观、更易于处理。

3 设计空间与有限元分析

        为了将复合材料设计框架化为强化学习问题，我们需要建立合适的状态空间表示，并为RL算法建立一个交互环境。与制造和物理分析相比，模拟训练可以提供更快的反馈，因此我们使用有限元分析（FEA）作为评估设计特性的主要分析工具。在使用RL算法之前，必须验证杨氏模量E的有限元预测。本节讨论了所考虑的复合设计空间以及FEA管道(pipeline)的开发和验证。

3.1 复合设计空间

        鉴于所有可能的设计集都很大而且难以处理，我们在此考虑一个更受约束的问题，可以通过实验验证，从而为RL-自动设计建立一个可行的框架。我们考虑一个由材料块的5×5二元排列构成的复合设计空间，其中每个块可以由弹性模量不同的两种材料中的一种组成。这两种材料越硬，我们称之为“stiff”，越软，我们称其为“compliant”。复合材料的材料块边长x=5 mm，而总复合材料的边长L=25 mm，深度为5 mm(图1B)。在不考虑任何几何对称的情况下，复合设计空间中总共存在