NeurIPS2024发表PINNs新综述||探索物理信息神经网络的泛化能力:迁移学习与元学习

摘要

物理信息神经网络(PINNs)为使用神经网络求解偏微分方程(PDEs)提供了一种有前景的解决方案,特别是在数据稀缺的情况下,得益于其无监督学习能力。然而,一个关键的限制是每当PDE参数发生变化时需要重新优化,这与传统数值方法中的限制类似,从而限制了PINNs的更广泛应用。本调查探讨了通过迁移学习和元学习来解决这一限制的研究。这些方法有可能提高PINNs的训练效率,使其能够以更少的数据和计算需求更快地适应新的PDEs。与依赖大量数据构建通用模型的现有基础模型方法不同,PINNs中的高效适应侧重于较小的信息领域,能够通过利用先前学习的知识快速调整到类似问题。通过综合这些先进学习技术的见解,本调查识别了促进PINNs在科学和工程领域更广泛采用的策略。

1 引言

机器学习(ML)的进展导致了基础模型的出现,这些模型在计算机视觉(例如,自驾车)、自然语言处理(例如,智能代理、聊天机器人)和图像生成等领域具有应用。在这一成功的基础上,越来越多的兴趣集中在开发基础模型以解决科学和工程中的问题。然而,与数据丰富的领域不同,这些领域通常由于生成数据所需的实验和模拟成本高而面临数据限制。为了解决这一问题,数据和计算效率高的方法,如迁移学习、元学习和少样本学习,在其他领域取得成功,显示出在科学学科中推进机器学习的潜力。

图1:不同建模方法对数据和科学知识的需求。

在科学和工程中,这些高效的机器学习模型特别有利的一个具体应用是确定偏微分方程的近似解。偏微分方程在建模和描述各种科学和工程领域的自然现象中是基础性的。传统上,这些方程是通过数值方法求解的,这在某些情况下可能变得非常昂贵,尤其是在处理非线性和高维问题时。这一挑战限制了它们在需要快速评估PDE的领域中的应用。认识到这一挑战,神经网络被探索作为潜在的解决方案,提供了有效建模复杂非线性的优势,展现出与经典迭代求解器相比更快的评估潜力,并提供不受计算网格限制的无网格解决方案。此外,机器学习技术提供了一种解决逆问题的方法,其目标是从观察数据中推断未知参数或初始/边界条件,这对于数值方法来说是一项具有挑战性的任务。此外,机器学习的实现比数值方法更简单,允许更快的开发和更易于维护。

用于求解偏微分方程的机器学习方法可以大致分为神经代理和神经PDE求解器。神经代理,包括物理引导神经网络和神经算子,使用来自数值求解器生成的数据训练网络。其中最受欢迎的是神经算子,它们使用来自求解器或观察的输入-输出对数据集来近似无限维函数空间之间的非线性映射。示例包括傅里叶神经算子和DeepONet。

另一方面,神经 PDE 求解器通过将控制方程嵌入学习过程,直接结合物理定律。一个关键的例子是 PINNs [2],它通过最小化控制方程、初始条件和边界条件的残差来近似解。

虽然神经算子和 PINNs 各有优缺点,但本研究表明,PINNs 更适合在数据有限的科学和工程领域进行数据生成。神经算子通常需要大量数据集,这些数据集通常来源于昂贵的模拟,并且不明确地结合控制物理方程,这可能导致在训练数据之外的泛化问题和物理不一致性 [13]。相比之下,PINNs 将控制方程直接整合到训练过程中,确保解遵循基础物理,同时减少对现有数据集的依赖,使其在数据稀缺的应用中特别有效 [13]。图 1 显示了不同方法如何平衡数据需求与科学知识。当基础控制方程未被纳入时,需要更多数据来推断物理行为。然而,当利用控制方程时,仅需最少的数据,例如边界条件或材料属性。

然而,PINNs 也面临一些挑战,包括高维问题中的收敛问题、由于导数评估的计算开销导致的长训练时间,以及对超参数的敏感性。此外,PINNs 通常是基于每个 PDE 实例进行训练的,要求在每次参数变化时重新训练 [13]。

为了解决这些限制,本调查探讨了将先进的机器学习技术,如迁移学习和元学习,整合到 PINNs 中,以通过最大化知识重用、减少适应时间和最小化数据资源来增强模型适应性。此外,这些方法可以帮助克服通常与 PINNs 相关的收敛挑战。此外,这种整合为传统基础模型提供了一种有前景的替代方案,提供了一种更高效的数据训练模型的方法。这一进展旨在实现“高效模型适应性”,使其能够在数据有限的环境中快速学习和适应。最终,这可以帮助克服一些 PINNs 当前面临的挑战,并促进其在数据有限且快速评估至关重要的实际应用中的采用。

本工作的主要贡献包括:

  • 回顾 PINNs 的最新进展,重点关注迁移学习、元学习和少样本学习等自适应技术。

  • 确定潜在的基准和实际应用,这些自适应技术可以显著提高 PINNs 的效率,特别是在数据有限的情况下。

  • 提供对自适应 PINNs 在各个领域未来研究方向和使用案例的见解。

代理模型可以被视为对一组数据的 “回归”,其中数据是一组通过评估复杂系统的黑箱模型获得的输入-输出配对 [10, 11]。相反,求解器是用于寻找数学模型解的算法或方法。

虽然一些作者将 “神经代理” 和 “神经 PDE 求解器” 这两个术语互换使用,但本工作做出了区分,以突出获得 PDE 解的特定要求。

据我们所知,之前没有任何综述专门关注 PINNs 中的模型自适应性。

本文的结构如下:首先,介绍基本概念。第 3 节回顾了迁移学习和元学习在 PINNs 中的应用。第 4 节涵盖了评估模型适应性的基准和指标。在第 5 节中,讨论了应用于实际场景的工作。最后,第 6 节建议未来的研究方向并给出结论性评论。

2 背景

物理信息神经网络 (PINNs)。PINNs 通过使用神经网络 来近似偏微分方程 (PDEs) 的解,该网络将初边值问题 (IBVP) 的信息直接纳入优化过程。一种常见的方法是在损失函数中包含 IBVP 方程的残差,这些残差是在问题域内采样的配点处计算的。具体而言,残差对应于这些采样点处 PDE、边界条件和初始条件之间的差异。自动微分被用来计算微分算子中所需的导数。这种方法使网络能够准确学习满足 IBVP 约束的解。

高效模型适应性。在机器学习中,高效模型适应性是指利用先前知识快速调整到新的、未见过的任务的能力。给定一个在源任务上预训练的模型 ,目标是将其适应于新颖的目标任务 ,假设任务之间具有共享特征 。在 PINNs 中,每个任务通常对应于具有不同参数(例如,材料属性、边界/初始条件)的 IBVP 实例。图 2 说明了两个 IBVP 的例子。

高效适应性受两个主要因素的影响:训练性能和数据效率。训练性能受模型参数数量、模型复杂性和适应所需的优化步骤的影响。另一方面,数据效率旨在减少配点的数量或充分利用有限的观测数据。为了实现高效的模型适应性,本研究建议将迁移学习和元学习应用于物理信息神经网络。

图 2:a) 具有不同材料属性的热方程作为任务。b) 具有不同初始条件的 Burgers 方程作为任务(改编自 [14])。

迁移学习。迁移学习涉及将预训练于源任务的模型适应于相关的目标任务。通过在新的、通常有限的数据上微调该模型,迁移学习加速学习并提高性能,相较于从头开始训练。这种方法在目标领域缺乏标记数据时尤其有用。

初边值问题(IBVP)是一个数学框架,它将偏微分方程与初始和边界条件结合,以产生描述系统行为的唯一解。

元学习。元学习,或称为“学习如何学习”,旨在通过利用多个任务之间的共享知识来提高模型训练效率和整体性能。在元训练阶段,元学习者捕捉任务关系并调整基础学习算法、超参数或架构。这使得模型能够更快、更有效地适应新任务。

少样本学习。少样本学习是一种旨在使模型能够从少量示例中学习的技术。它涉及将从先前学习的任务中获得的知识转移到新的、相似的任务上,且数据量最小。少样本学习通常利用元学习从有限的示例中进行概括,使其在数据可用性受限的场景中具有重要价值。通过高效地适应新任务并使用最少的训练数据,少样本学习提高了模型性能和实际应用性。

3 方法论

3.1 PINNs 中的迁移学习技术

本节回顾了通过迁移学习技术增强的 PINNs 的进展,这些技术解决了从头开始训练的计算成本和收敛问题。讨论的文献总结在表 1 中。

表 1: 物理信息神经网络中的迁移学习。

注意:微调策略(FS)、预训练类型(PT)、问题类型(PType)、完全微调(FFT)、参数高效微调(PEFT)、课程迁移学习(CTL)、单任务学习(ST)、多任务学习(MT)。带有 (*) 的方程是特定领域的问题。标记为 (†) 的参考文献表示使用了少量样本学习技术。缩写:泊松 = Pois.,薛定谔 = Schr.

3.1.1 完全微调

完全模型微调(FFT)更新预训练模型的所有参数以适应新任务。例如,Prantikos 等人 [15] 引入了 TL-PINN 来解决点动量方程 4,其中预训练的 PINN 被微调以通过利用任务相似性加速预测。他们证明了性能提升与任务相似性相关,从而导致更快的收敛和更好的准确性。一个关键的收获是测量任务相似性的重要性,以评估何时迁移学习是有益的。同样,Lin 和 Chen [16] 通过使用迁移学习来用标准 PINN 的预训练权重初始化 gPINN 模型,从而增强了 gPINNs 的效率。

点动量方程是分析核反应堆动态的简化模型。

梯度增强的 PINNs [25] 在损失函数中包含残差的梯度,提高了准确性,但增加了训练成本。

Zhou 和 Mei [17] 将平滑有限元方法(S-FEM)与 PINNs 结合,以提高在有限数据下解决逆问题的效率。他们的方法涉及使用 S-FEM 生成的数据对 PINN 进行预训练,然后使用该预训练模型初始化新问题的权重,并用额外的 S-FEM 数据进行微调。与直接将 S-FEM 与 PINNs 结合相比,该方法显示出更高的准确性和效率。

3.1.2 参数高效微调 (PEFT)

PEFT 通过选择性地微调少量参数来降低计算和内存成本。这里展示了相关研究对这种方法的探讨。

Desai 等人 [18] 在 PINNs 中应用了 PEFT 方法来解决常微分方程 (ODEs) 和偏微分方程 (PDEs)。在此方法中,隐藏层表示在预训练期间学习的共享基础,而输出层则是特定于任务的。对于新任务,仅更新输出权重,而共享基础保持不变。在某些情况下,这些输出权重可以通过求解线性系统进行解析计算,从而实现一步适应。否则,它们通过梯度下降进行优化。该方法通过利用跨任务的预训练共享基础,实现了高效的任务转移。

Goswami 等人 [19] 为相场断裂建模应用了类似的策略,这是一个在小步长中计算位移的问题。为第一步训练一个完整的 PINN,在后续步骤中,仅重新训练最后一层,同时共享预训练权重,从而提高效率。

Chakraborty [23] 通过仅调整最后一层或两层,对低保真度的 PINN 模型进行了微调,以近似高保真度模型。采用数据驱动的损失来指导这一微调过程,有效地在有限的高保真度数据下实现了高保真度的近似。

Gao 等人 [20] 引入了 SVD-PINNs,该方法对隐藏层应用奇异值分解 (SVD),仅微调奇异值以及初始层和最后一层的权重。这种方法在解决高维 PDE 时提高了效率,特别是在处理多个相关的 PDE 时,这些 PDE 共享微分算子但在右侧函数上有所不同。优化奇异值对性能至关重要;适当的优化可以稳定训练,并通常优于从头训练的 PINNs,而不准确的值可能会恶化结果。

Pellegrin 等人 [22] 采用了一种多任务学习策略,在多个相关任务上训练共享基础网络,并微调特定任务的头部,以提高收敛性和性能。

Xu 等人 [21] 通过两阶段迁移学习过程解决了工程结构中的逆分析问题。首先,使用多任务学习对简化任务进行预训练的 PINN。然后,在真实数据上进行微调,仅更新特定层。应用于二维弹性问题时,该方法提高了准确性并加速了收敛,即使在简化预训练的情况下。

3.1.3 课程迁移学习 (CTL)

课程迁移学习 (CTL) 逐渐增加任务复杂性。Mustajab 等人 [24] 将这一策略应用于 PINN,从简单问题开始,逐步引入更复杂的问题,从而改善了高频和多尺度 PDE 的收敛性。

3.2 PINN 中的元学习技术

将元学习与 PINN 相结合增强了模型的适应性和泛化能力。表 2 概述了这些技术在 PINN 背景下的分类,重点关注元学习的内容。下一部分介绍基于该分类的研究。

3.2.1 学习权重初始化

有效的权重初始化在加速 PINN 收敛和准确性方面发挥着关键作用,同时降低计算成本。为了解决这一挑战,已经开发了几种元学习方法。例如,Liu 等人 [26] 应用了 Reptile 算法 [27] 进行权重初始化,证明其在各种设置下的训练效率和准确性优于 Xavier 等方法。另一种方法,模型无关元学习 (MAML) [28],被 Zhong 等人 [29] 和 Cheng 与 Alkhalifah [30] 适应用于等离子体和地震模拟中的 PINN。尽管 MAML 显著提高了收敛性和准确性,但由于其双梯度计算过程,它需要大量的计算资源。

在将 MAML 与 LEAP [31] 进行比较时,Qin 等人 [32] 发现,尽管 MAML 在给定运行时间内的准确性优于 LEAP,但 LEAP 提供了更快的元训练和更低的内存需求。

Penwarden 等人 [33] 为 PINN 引入了一种两步权重预测方法。首先,从多个任务的预训练 PINN 中收集优化权重。然后,使用一个次级模型来近似任务参数到权重的映射。研究了包括高斯过程、三次样条插值和径向基函数在内的几种模型。尽管探索了这些预测模型,但仍需进一步研究以应对高维参数域。

Cho 等人 [34] 开发了超低秩 PINN,该方法将元学习与 PEFT 结合,以更高效地解决参数 PDE。该方法具有两个阶段的训练过程。在预训练阶段,基模型的隐藏层权重使用 SVD 方法构建,,其中 (奇异值)由元网络提供,奇异向量 和 是基模型的一部分。第一层和最后一层保持为标准线性层。在微调阶段,元网络为新任务生成自适应权重,并修剪不重要的权重以保持紧凑的超低秩结构。此外,第一层和最后一层与自适应权重一起进行优化。

3.2.2 学习网络结构

元学习在适应网络结构以提高各种应用中的性能方面也发挥了重要作用。例如,Chen 等人 [35] 应用的元贝叶斯优化被用来选择解决稀疏数据的对流-扩散-反应 (ADR) 系统的最佳网络架构。

类似地,Bischof 和 Kraus [36] 使用的专家混合模型结合 PINNs,利用一个门控网络来平衡来自不同专家在各种输入区域的贡献。这种方法提高了准确性和收敛性,正在进行的研究旨在进一步优化性能和可扩展性。

在另一个进展中,Chen 和 Koohy [37] 引入了 GPT-PINN,它将元学习与动态任务采样相结合,以扩展共享基础字典。它将新的参数实例 近似为预训练 PINNs 的加权和:

其中 是针对各种参数的预训练 PINNs,而 是来自元网络的系数。如果近似不准确,则为该参数训练一个新的 PINN 并将其添加到基础中,从而增强模型的泛化能力。

3.2.3 学习损失函数

元学习技术也被用于优化 PINNs 的损失函数,进一步提升其性能。例如,Psaros 等人 [38] 开发了一种基于梯度的元学习方法,通过设计在预训练阶段优化的参数化损失函数,发现各种 PDE 任务的最佳损失函数。这种方法提高了泛化能力,使模型在新的、未见过的任务上表现更好。

另一个重要的发展是损失注意力 PINN (LA-PINN),由 Song 等人提出 [39]。该方法将损失函数视为一个可学习的组件,使用多个与主 PINN 对抗训练的损失注意力网络 (LAN)。当 PINN 通过梯度下降最小化损失时,LAN 则采用梯度上升来学习逐点权重,有效地创建一个“注意力函数”,根据每个配合点的拟合难度动态调整权重。受到 GAN 的启发,该方法强调问题的挑战区域,提高了收敛性和整体准确性。

3.2.4 学习输入

适应输入数据,包括配合点,在减少计算需求和提高 PINN 性能方面发挥了关键作用。一种方法是困难感知任务采样器 (DATS),由 Toloubidokhti 等人提出 [40],该方法根据任务的难度优化任务采样,从而提高准确性并减少性能差异。

类似地,Tang 等人提出的深度自适应采样 (DAS) 使用生成模型来指导自适应采样,特别是在残差较高的区域。该方法在准确性方面显示出显著的改善,尤其是在高维 PDE 的情况下。

最后,自我参考学习方法已被 Huang 等人 [42] 和 Iwata 等人 [43] 探索。Huang 的方法 MAD 使用潜在向量近似 PDE 解,而 Iwata 的方法利用元网络将 PDE 参数编码为潜在向量,并对其进行细化以适应新任务,进一步增强了 PINN 的适应性和效率。

表 2:物理信息神经网络中的元学习策略。

注意:问题类型(PType)、正问题(Fwd.)、逆问题(Inv.)。缩写:Poisson = Pois.,Burgers = Burg.,Schrödinger = Schr.,仿真 = Sim.,Allen-Cahn = A-C,扩散反应 = D-R,对流扩散反应 = C-D-R,Helmholtz = Helm.,对流扩散反应 = A-D-R,Klein-Gordon = K-G,反应扩散 = R-D,椭圆 = Ellip.,超弹性 = Hyp.-elast.,Maxwell = Max.,参数化 = Param.,对流 = Adv.,稳态 = SS, lid-driven cavity = LDC。

3.3 PINNs 中的少量样本学习

少量样本学习旨在最小化训练模型所需的训练示例数量。在 PINNs 的背景下,可以通过几种策略实现:最小化预训练所需的采样任务数量,减少微调过程中的配点,以及利用有限的真实世界观测数据。本节重点介绍通过元学习和迁移学习实现少量样本学习的工作,这些工作在表 1 和表 2 中用符号 ’ ’ 表示。例如,Chen 和 Koohy [37] 以及 Toloubidokhti 等 [40] 关注于减少采样任务,而 Mustajab 等 [24]、Toloubidokhti 等 [40] 和 Tang 等 [41] 则解决了减少配点的问题。此外,Chen 等 [35] 探讨了使用有限的真实世界观测数据进行微调,这对于实际应用特别有价值。

4 基准和指标

图 3:通过元学习实现高效模型适应的示例。

4.1 PDE 问题

表 1 和表 2 总结了每项工作中使用的基准方程。此外,最常见方程的完整描述总结在附录 A.1 中。

4.2 误差度量

Chen 和 Koohy [37] 介绍了误差度量选择的总结,这些选择在大多数工作中是常见的。这些作为参考在表 3 中呈现。

表 3:用于误差测量的常见评估指标。在这里,最坏情况下的损失和错误在一组任务上进行评估 ,提供了对表现最差任务的性能的洞察。"终端"一词指的是在最后一次迭代步骤评估的指标。

4.3 高效适应性指标

评估 PINNs 的适应性和效率对实际应用至关重要。关键指标评估数据需求和计算效率,重点关注最小数据使用和减少训练时间。图 3 说明了解决具有不同强迫参数的泊松方程时影响高效适应性的关键因素。它比较了标准 PINN 和元学习方法,突出了训练时间、训练轮次和配点数的减少。元学习策略遵循 Cho 等人提出的方法 [34]。图右侧的解对应于普通 PINN 和元学习 PINN 的 100 轮训练。雷达图比较了这两种模型,所有值相对于每个指标的最高值进行了归一化。显示了两组指标:一组描述模型,另一组描述训练性能。训练性能指标在任务之间取平均,反映了在 1200 轮预算内达到 0.05 损失所需的值。如果在此预算内未达到目标损失,则报告最终值。

4.3.1 数据效率(少样本)

配点预算。该指标评估配点数量与准确性之间的权衡。它比较固定和自适应采样策略,以确定训练性能和准确性的最佳平衡。

回归点预算。根据可用观测点的数量测量准确性,这对数据有限的应用至关重要。

任务采样。涉及在多个 PDE 实例上进行预训练,以提高泛化能力。目标是确定最佳的预训练任务数量,以获得最佳结果,平衡资源使用和最终准确性。性能差异,即最佳结果与最差结果之间的差异,用于评估泛化能力并识别改进领域。

4.3.2 计算效率

为了评估计算效率,通常报告四个关键指标。首先,参数数量提供了模型大小的度量,这影响内存使用。其次,MACs(乘加操作)的数量直接反映了计算复杂性,影响处理速度。第三,纪元数量通过报告在设定的纪元预算内的最终准确性或达到目标误差阈值所需的纪元数量来评估收敛性。第四,训练时间通过测量达到所需准确性所需的持续时间,提供了计算成本的直接量化。这些指标共同提供了与不同 PINN 架构和训练策略相关的计算需求的全面视图,便于在资源受限环境中做出明智的部署决策。

5 应用

元学习和迁移学习技术已将 PINN 应用扩展到传统基准之外,应用于实际和特定领域的问题,如表 1 和表 2 所示。这些将在以下章节中讨论。

5.0.1 正向问题

在各种应用中,迁移学习和元学习被用来增强 PINN 的性能。例如,在核反应堆安全方面,Prantikos 等人 [15] 使用迁移学习加速 PINN 再训练,实现实时反应堆状态预测。同样,在脆性断裂力学中,Goswami 等人 [19] 应用迁移学习有效预测结构中的裂纹路径,消除了为每个位移步骤重新训练模型的需要。在等离子体物理中,Zhong 等人 [29] 利用元学习进行权重初始化,显著提高了复杂等离子体模拟中的收敛性。

5.0.2 逆问题

在弹塑性问题中,Zhou 和 Mei [17] 采用 PINNs 和迁移学习来解决逆问题并确定材料参数,显著降低了传统方法的计算成本。同样,在负载预测中,Xu 等 [21] 使用迁移学习根据有限的位移观测预测结构上的外部负载,提高了在各种工程场景中的效率。这些例子突显了元学习和迁移学习在改善 PINNs 在各个科学和工程领域中的潜力。

6 讨论与结论

6.1 未来方向

虽然迁移学习和元学习技术有潜力提高 PINN 的训练效率和数据可重用性,但缺乏一致的基准测试方法使得这些技术的直接比较变得具有挑战性。例如,Qin 等 [32] 和 Penwarden 等 [33] 报告了关于 MAML 相较于随机初始化的有效性存在相互矛盾的发现。为了促进更好的比较并提高对这些方法适用性的理解,建立一致的评估标准至关重要。此外,澄清“在分布内”与“在分布外”任务等术语将有助于标准化未来研究如何评估 PINNs 中的迁移学习和元学习方法。

未来研究的一个关键优先事项是增强 PINNs 对分布外条件的适应性。该领域的一个主要挑战是将学习到的基础与这些分布外任务对齐。目前,许多方法的基础是专门从训练任务中推导出来的,这限制了它们对远程任务的泛化能力 [34, 20, 18]。开发策略以扩展和调整这些基础以适应原始训练分布之外的任务,将显著提高 PINNs 的泛化能力,使其在更广泛的问题中更具适应性。

使用不同损失函数时,收敛行为是另一个挑战。使用回归损失进行训练通常会导致更平滑、更快速的收敛,而基于梯度的损失(如 PDE 残差损失)则可能导致收敛速度较慢或不稳定,尽管在更好地强制执行物理约束方面表现更佳。这突显了梯度信息利用中的潜在陷阱。需要进一步研究以解决这些收敛困难,并更好地整合梯度信息,基于 Song 等人 [39] 和 Yu 等人 [25] 提出的技术(gPINNs)。

最后,研究神经场的概念如何应用于 PINNs 中的迁移学习和元学习,展现了改善模型高效适应新任务或领域的有希望的途径。探索更复杂的问题——例如具有不同边界条件或超出二维的高维领域——至关重要。在这些领域建立强基线问题也将是未来有影响力研究的宝贵方向。

6.2 结论

通过重用学习到的信息使 PINNs 更具适应性的努力,可能相较于传统数值求解器提供显著优势。学习如何利用这一特性可能会导致开发出更高效的 PDE 求解方法或增强传统数值方法。本研究建议在 PINNs 中结合元学习和迁移学习,以促进知识的重用。尽管 PINNs 可能会产生高昂的初始训练成本,但在重复求解相似 PDE 时,其适应性变得尤为有利,例如在参数识别和设计优化中。这种方法可能比独立求解每个 PDE 更高效。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

<think>好的,用户想了解Physics-Informed Neural Networks (PINNs)在Fluent中的实现或应用案例。首先,我需要确认PINN和Fluent的基本概念,以及它们之间的关联。 PINNs是结合物理方程和神经网络的方法,用于解决偏微分方程(PDE)相关问题。而Fluent是ANSYS的流体动力学(CFD)软件,传统上使用数值方法如有限体积法。用户可能想知道两者如何结合,或者是否有Fluent集成PINN的案例。 接下来,我需要查找相关文献或官方资料。目前,Fluent本身可能没有直接集成PINN,但可能有第三方研究或扩展。例如,有些研究可能将PINN用于流体模拟,并传统CFD结果对比,或者用PINN加速求解过程。 然后,考虑应用场景。比如,逆向问题中,传统方法可能需要大量计算,而PINN可以利用物理信息减少数据依赖。此外,参数优化、不确定性量化也是潜在方向。 需要区分直接集成和间接应用。用户可能想知道是否能在Fluent软件中使用PINN,但更可能的情况是研究中的协同使用,比如用PINN生成数据辅助Fluent模拟,或反之。 还要注意可能的挑战,比如计算资源、精度和实时性。PINN的训练可能需要大量GPU资源,而传统CFD在复杂几何中更成熟。结合两者可能发挥各自优势。 最后,确保引用来源可靠,如ANSYS文档、知名期刊论文或会议报告,并指出当前研究的进展和局限性。同时,生成相关问题时要覆盖原理、应用、对比和挑战等方面,帮助用户深入理解。</think>### Physics-Informed Neural Networks (PINNs) Fluent 的关联应用 #### 1. **基本概念原理** - **PINNs**:通过将物理方程(如Navier-Stokes方程)作为正则化项嵌入神经网络训练,实现数据驱动物理规律的双重约束[^1]。例如,损失函数可能包含: $$ \mathcal{L} = \lambda_1 \cdot \text{MSE}_{data} + \lambda_2 \cdot \text{MSE}_{PDE} $$ 其中$\text{MSE}_{PDE}$表示偏微分方程的残差。 - **Fluent**:基于有限体积法(FVM)的传统CFD求解器,擅长复杂几何和湍流模拟,但计算成本较高。 #### 2. **应用场景案例** - **逆向问题求解**: 例如通过稀疏实验数据反推流体参数(如粘度系数),传统Fluent需多次迭代求解,而PINN可直接整合物理方程加速反演过程[^2]。 - **替代模型(Surrogate Model)**: 用PINN训练高保真Fluent模拟结果,构建代理模型以支持实时优化(如翼型设计)[^3]。 - **多物理场耦合**: 在燃烧模拟中,PINN可耦合化学反应方程流体方程,减少传统分步求解的误差累积。 #### 3. **实现方式(非直接集成)** 目前**Fluent软件未原生支持PINN**,但可通过以下方式结合: - **数据交互**: 使用Fluent生成训练数据(如流场速度分布),训练PINN模型后,将结果导入Fluent作为边界条件。 - **插件开发**: 利用Fluent UDF(用户自定义函数)接口调用外部PINN模型,例如实时修正湍流模型参数[^4]。 #### 4. **挑战局限性** - **计算效率**:PINN训练依赖GPU,而Fuent擅长CPU并行,混合部署需解决架构差异。 - **精度验证**:复杂湍流场景中,PINN的泛化能力可能弱于FVM,需严格对比验证[^5]。 - **工程适用性**:Fluent的工业级预处理(如网格划分)尚未PINN的网格无关特性有效结合。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值