【Nanophotonic Particle Simulation and Inverse Design Using Artificial Neural Networks 】纳米光子粒子模拟和逆向设计

数据集

• 具有交替二氧化硅/TiO2壳的n层粒子的数据：n_layer_tio2.csv

数据类型	.csv文件：n_layer_tio2.csv和n_layer_tio2_val.csv
大小	2层粒子有30k条记录。3,4,5,6,7层有40k。8层有50k。3层jaggregate粒子的数据：jagg_layer_tio2.csv jagg_layer_tio2_val.csv 与上述格式相同。
摘要	所有这些都是使用存储库中此处的“ScatterNet_Matlab”目录生成的。 小心谐波的阶数——随着粒子获得更多层，必须添加更多阶数以补偿更多模式。n_layer_tio2.csv n_layer_tio2_val.csv _val文件指示厚度值是多少（以纳米为单位）。另一个文件 - 2_layer_tio2.csv - 指示每个相应粒子的光谱值。即2_layer_tio2中的第一行对应于2_layer_tio2_val中的第一行。2层粒子有30k条记录。3,4,5,6,7层有40k。8层有50k。3层jaggregate粒子的数据：jagg_layer_tio2.csv jagg_layer_tio2_val.csv 与上述格式相同。_val文件分别指示金属银芯、二氧化硅介电层和J聚合染料外层的厚度。最后一个数字是J-Aggregate染料的调谐共振
数据源	https://www.dropbox.com/sh/ii0bm0u4x8qsu9u/AABxSAPNlYn9HgeacX1LVv1ba?dl=1 最好在linux中使用命令：wget https://www.dropbox.com/sh/ii0bm0u4x8qsu9u/AABxSAPNlYn9HgeacX1LVv1ba?dl=1 -r -O data.zip或者直接运行.sh文件：cd data；sh fetchData.sh

• scatter_sim_2_gen_data.m

数据类型	.csv文件
摘要	官方文件的查看并生成数据：scatter_sim_1_plot_data.mscatter_sim_2_gen_data.m
数据源	https://github.com/iguanaus/ScatterNet
数据引用信息	Peurifoy J, Shen Y, Jing L, et al. Nanophotonic particle simulation and inverse design using artificial neural networks[J]. Science advances, 2018, 4(6): eaar4206.

• The Cambridge Energy Landscape Database

数据类型	数据库
摘要	Kinetics数据集是一个大规模、高质量的数据集，用于在视频中识别人类动作。视频收集自Youtube。
数据源	https://www.deepmind.com/open-source/kinetics
数据引用信息	Wales D J, Doye J P K, Dullweber A, et al. The Cambridge cluster database[J]. 2001.

• Data for: Synchronous estimation of state of health and remaining useful lifetime for lithium-ion battery using the incremental capacity and artificial neural networks

数据类型	NASA lithium battery dataset
大小	54MB
动作类别	锂电池
摘要	CCD的剑桥集群数据库
数据源	https://www-wales.ch.cam.ac.uk/CCD.html
数据引用信息	Zhang, Shuzhi (2019), “Data for: Synchronous estimation of state of health and remaining useful lifetime for lithium-ion battery using the incremental capacity and artificial neural networks”, Mendeley Data, V1, doi: 10.17632/ymgtfpj3bw.1

• TRIP (Tiered Reasoning for Intuitive Physics)

数据类型	.json文件
摘要	大规模、预训练的语言模型(LM)在广泛的语言理解任务中实现了人类水平的性能。然而，仅基于最终任务表现的评估并不能揭示机器在语言理解和推理方面的真实能力。强调了除了最终性能之外评估潜在推理过程的重要性。为了实现这一目标，引入了直觉物理分层推理（TRIP），这是一种新颖的常识推理数据集，具有密集的注释，可以对机器的推理过程进行多层评估。实证结果表明，虽然大型 LM 可以实现高端性能，但它们很难用有效的支持证据来支持其预测。TRIP数据集和基线结果将激发对常识推理的可验证评估，并促进未来的研究，以开发更好的语言理解和推理模型。
数据源	https://github.com/sled-group/verifiable-coherent-nlu
数据引用信息	Storks S, Gao Q, Zhang Y, et al. Tiered reasoning for intuitive physics: Toward verifiable commonsense language understanding[J]. arXiv preprint arXiv:2109.04947, 2021.

• Physical Audiovisual CommonSense

数据类型	常识问题和视频
摘要	PACS（物理视听常识）是第一个针对物理常识属性注释的视听基准。 PACS共包含13400个问答对，涉及1377个独特的物理常识问题和 1526个视频。该数据集通过将音频作为多模态问题的核心组成部分，为推进物理推理研究领域提供了新的机会。
数据源	https://github.com/samuelyu2002/PACS
数据引用信息	Yu S, Wu P, Liang P P, et al. PACS: A Dataset for Physical Audiovisual CommonSense Reasoning[C]//Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXXVII. Cham: Springer Nature Switzerland, 2022: 292-309.

• Kubric

数据类型	视频
类型	13种不同的类型
用途	用于物理模拟、机器人技术和深度强化学习；提供正向动力学模拟、逆向动力学计算、正向和反向运动学以及碰撞检测和射线相交查询；支持渲染、CPU 渲染器和 OpenGL 可视化，并支持虚拟现实耳机
摘要	Kubric是一个数据生成管道，用于创建具有丰富注释（例如实例分割掩模、深度图和光流）的半真实合成多对象视频。它还提供了一系列13个不同的生成数据集，用于从研究3D NeRF 模型到光流估计等任务。Kubric主要构建在pybullet（用于物理模拟）和 Blender（用于渲染）之上；然而，代码保持模块化，以潜在地支持不同的渲染后端
数据源	https://github.com/google-research/kubric；https://pybullet.org/wordpress/
数据引用信息	Greff K, Belletti F, Beyer L, et al. Kubric: A scalable dataset generator[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 3749-3761.

背景

1. 尚存在的问题

对于逆向设计而言，有遗传算法和伴随方法两大类。首先，遗传算法解决逆向问题需要大量的计算时间和能力，而且设计许多的参数问题，随着参数的增加，算法运行的时间也会显著的增加。其次，伴随方法的效率虽然远远高于遗传算法，但是建立伴随方法需要大量的光子学知识和技能，会的人较少。
此外，人工神经网络的纳米光子粒子模拟和逆向设计还存在以下五个常见的问题：
(1) 数据质量和数量：获取高质量的训练数据集可能是一个挑战。需要进行精确的模拟或实验来生成适用于训练神经网络的数据，并确保数据的标注是准确和可靠的。此外，对于复杂的纳米光子结构，可能需要大量的数据来捕捉结构和性能之间的复杂关系。
(2) 训练和优化：选择适当的神经网络架构、损失函数和优化算法对于获得准确和高效的训练至关重要。选择合适的超参数设置以及处理梯度消失或梯度爆炸等问题也是需要考虑的。
(3) 物理约束和可行性：在设计纳米光子粒子时，需要考虑实际的物理约束条件，如材料属性、加工限制等。生成的设计必须符合这些约束，并且具备可制造性和实际可行性。
(4) 解释性和可解释性：人工神经网络通常被认为是黑盒模型，缺乏直接的解释性。理解网络如何生成特定设计的能力是一个重要的挑战。因此，提高模型的解释性，使其能够提供关于设计决策的合理解释，是一个重要的目标。
(5) 性能与效率平衡：纳米光子粒子的模拟和逆向设计可能涉及复杂的计算过程和大量的计算资源。在实际应用中，需要平衡设计性能和计算效率之间的权衡，以实现高效的设计过程。

2. 研究内容

在本研究中，作者旨在将 CLIP 强大的多模态性能应用到Few-shot领域中，以缓解数据稀缺造成的原型估计不准确问题。
在本研究中，作者提出了一种新的方法来进一步模拟光与纳米结构的相互作用，并使用人工神经网络解决逆向设计问题。在这种方法中，首先训练神经网络来近似模拟；因此，神经网络能够将散射函数映射到连续的高阶空间中，在该空间中可以分析地找到导数。然后，通过标准反向传播分析得出品质因数（FOM）相对于输入参数的“近似”梯度。然后利用梯度下降法对参数进行有效优化。最后，将性能与标准的无梯度优化进行了比较，经过实验数据发现提出的方法比传统方法快几个数量级，更有效。

3. AI相比于传统算法的优势

   • 近似——一旦神经网络被训练来近似复杂的物理模拟（例如密度泛函理论或有限差分时域模拟），它就可以在更少的时间里近似相同的计算，比传统算法更快，用时更短。
   • 逆向设计——一旦经过训练，神经网络可以比其对应的数值方法更快地解决逆向设计问题，因为可以通过分析而不是数值方式找到梯度。此外，由于更快的正向计算，可以更快地计算用于逆向设计的一系列计算。最后，因为空间在近似中被平滑，神经网络可以更容易地搜索全局最小值。
   • 优化——与逆向设计类似，可以要求网络针对所需的属性进行优化。只需更改用于设计的成本函数即可实现此功能，而无需重新训练神经网络。

4. 应用场景

   • 光学器件设计：人工神经网络可以应用于设计各种纳米光学器件，如光波导、光学谐振腔、光学天线等。通过训练神经网络，可以快速生成具有特定光学性能和功能的纳米结构。
   • 光子能量转换：神经网络可以用于设计和优化光子能量转换器件，如太阳能电池、光催化材料和光热材料。通过模拟和反向设计，可以提高能量转换效率和光吸收性能。
   • 传感器设计：人工神经网络可以用于设计高性能的纳米光子传感器，用于检测和测量环境参数，如温度、湿度、气体浓度等。通过优化设计，可以提高传感器的灵敏度和选择性。
   • 光子集成电路：神经网络在光子集成电路的设计和优化中也发挥重要作用。它可以帮助设计复杂的光子集成电路结构，如光调制器、光开关和光路由器，以实现高速和高密度的光通信和光计算。
   • 量子光学：在量子光学领域，人工神经网络可以用于设计和优化量子光源、量子计算器件和量子通信系统。它可以帮助生成具有特定量子态和光子间相互作用的纳米结构。

技术方案

1. 环境要求

…

大概257个不同的版本库函数（详情见：requirements.txt文件）

2. 神经网络可以学习和近似麦克斯韦相互作用

图1 神经网络架构将纳米粒子每层的厚度作为其输入，并将散射光谱的不同波长处的散射截面作为其输出，实际的神经网络有四个隐藏层

通过考虑多层电介质球体的光散射问题来评估此方法，目标是使用神经网络来近似此模拟。为了确定性，选择具有无损二氧化硅核心( =2.04)的颗粒，然后交替使用无损TiO2和无损二氧化硅层。具体来说，考虑每层厚度在30nm到70nm之间的八层。因此，考虑的最小颗粒直径为480nm，最大颗粒直径为1120nm。
这个问题可以用麦克斯韦方程分析或数值求解，但对于多层，求解变得复杂。使用模拟通过蒙特卡洛采样从这些参数中生成了50000个示例。
接下来，使用这些示例训练了神经网络。使用了一个全连接网络，有四层，每层有250个神经元，总共有239500个参数。输入是每层的厚度（材料是固定的），输出是在400到800纳米之间的点采样的光谱。训练误差如图2a所示。

图2： a)八层案例的训练损失。损失有时会急剧下降，这表明神经网络正在“学习”每个点的数据。b)神经网络逼近与真实频谱的比较，此处显示最接近的训练示例。一个训练样本是比期望值大的最相似粒子，另一个是比期望值更小的最相似粒子。这些结果在许多不同的光谱中是一致的

训练完成后，神经网络的权重将被固定并保存到可以轻松加载和使用的文件中。接下来，开始试验这个神经网络的应用和用途。第一个应用是测试网络的前向计算，看看它与未训练的频谱的近似程度如何——示例见图2b。尽管该模型仅使用50000个示例进行训练，但该网络仍能非常准确地匹配尖锐的峰值和高Q特征，这相当于仅对30-70纳米之间的每层厚度进行四次采样。
为了研究网络是否了解了有关系统的任何信息并可以产生未经过训练的特征，还绘制了训练集中最接近的示例。结果表明，即使在训练集之外，网络也能够很好地匹配光谱。此外，图2b的结果直观地表明网络并不是简单地插值或平均最接近的训练谱。这表明神经网络并不是简单地拟合数据，而是学习有关输入和输出数据的某种模式，以便它可以解决它没有遇到的问题，并在某种程度上概括系统的物理特性。结果表明神经网络在逼近线性光学现象（例如此处显示的纳米粒子散射现象）方面非常强大。

3. 神经网络解决纳米光子逆向设计

对于逆向设计，希望能够绘制任意频谱，并找到最接近产生该频谱的几何形状。神经网络能够有效地解决逆向设计问题。权重固定后，将输入设置为可训练变量，并使用反向传播来训练神经网络的输入。简单来说，“向后”运行神经网络。为此，将输出固定为所需的输出，并让神经网络“学习”正确的输入。经过几次迭代后，神经网络提出了重现光谱的几何形状。
针对由TiO2和二氧化硅交替层制成的八层纳米颗粒相同的问题上测试了这种逆向设计。 选择任意频谱，并让网络了解哪些输入会生成类似的频谱。可以在图3中看到一个优化示例。为了确保拥有物理上可实现的光谱，所需的光谱来自随机有效的纳米粒子配置。

图3 八层纳米粒子的逆向设计，图例给出了粒子的尺寸，蓝色是所需的光谱。神经网络被认为可以更准确地解决逆向设计问题。
还将提出的方法与最先进的数值非线性优化方法进行了比较。测试了几种技术，发现内点方法对这个问题最有效。然后，将这些内点方法与神经网络的结果进行了比较，如图3所示。从视觉上看，可以看到神经网络能够找到比数值非线性优化方法更接近的最小值。这个结果在许多不同的光谱中是一致的，对于具有不同层数和材料的粒子也是如此。
对于需要设计的参数很少（对于三到五个介电层），数值解提供了比神经网络更准确的逆设计。然而，随着更多参数的添加（五到十个介电层的机制），数值解很快陷入局部极小值，无法解决问题，而神经网络仍然表现良好，并找到了相当准确的逆向设计解。因此，对于涉及很多参数的困难逆向设计问题，神经网络可以轻松解决逆向设计问题，这是因为优化景观在近似中是平滑的。进一步研究了神经网络在 强烈依赖 的区域中的行为方式，例如J-Aggregates的情况。这种材料产生复杂而尖锐的光谱，研究神经网络对这些粒子的近似程度很有趣，特别是对于尚未训练的粒子。

4. 神经网络解决纳米光子逆向设计

为了优化，希望能够给出模型的边界条件（例如有多少层、粒子的厚度、它可能是什么材料），并找到产生 尽可能接近的最佳粒子 可能达到所需的 。
现在可以使用工具轻松设计任意频谱，可以进一步将其用作更困难问题的优化工具。在这里，考虑两个：如何最大化单个波长的散射，同时最小化其余波长，以及如何最大化整个广谱的散射，同时最小化其之外的散射。
为此，固定神经网络的权重，并创建一个成本函数来产生所需的结果。简单地计算感兴趣范围内的 的平均值，并计算范围外的点的平均值，然后最小化这个比率。这个成本函数J由下式给出：

理想情况下，这种优化将使用在所需光谱范围内具有等离子体共振的金属和其他材料来执行。这些材料非常适合具有尖锐、窄的峰，因此可以生成在精确地单一波长处高效散射的光谱。在这里的优化仅使用介电材料。通过使用不具有尖锐等离子体共振的材料，迫使神经网络找到一个仍然分散在单个峰值的总几何结构，尽管底层材料无法做到。图4a中显示了一组接近465纳米的窄波长的结果。
接下来，考虑宽带散射的情况，在这种情况下，需要跨越各种波长的平坦光谱。选择与上述相同的J来最小化内部值与外部值的比率。在对网络进行少量迭代训练后，获得了一种几何形状，可以在所需波长上进行宽带散射。图 4b中可以看到这样的图。

图4 使用提出的方法作为优化工具生成的光谱。这里的材料仅限于纯介电材料，没有任何金属或等离子体共振。a)展示了接近单一波长的窄范围内的散射。在这里，强制神经网络找到一个散布在单个峰周围的总几何体，尽管底层材料无法做到。b)展示宽波段波长的散射。图例指定了每层的厚度（以nm为单位），交替的TiO2和二氧化硅层。这里的网络仅限于更少的材料层（只有五层），但层尺寸区域比以前更宽（从10纳米到70纳米）

5. 方法

（1）通过传递矩阵法解析求解散射

使用描述的转移矩阵方法，考虑多层纳米粒子。由于球对称性，将场分解为两部分：横向电（TE）和横向磁（TM）。这两个势均满足亥姆霍兹方程，并且每个标量势都可以分解为一组离散的球形模型：

对于特定波长，由于每个壳层内的介电常数是常数， 是两个相应壳层内第一类和第二类球贝塞尔函数的线性组合。

可以用接口的传递矩阵求解这些系数。因此，可以通过简单地将这些解伸缩到各个接口来计算整个系统的传递矩阵：

对于第一个壳，第二类贝塞尔函数的贡献必须为零，因为第二类贝塞尔函数在原点处是奇异的。因此，A1=1，B1=0。周围层的系数由传递矩阵元素An+1=M11和Bn+1=M21给出。为了找到周围介质的系数，将根函数写成球形汉克尔函数的线性组合：

这里， 和 分别是出射波和入射波，使用场随时间随 变化的约定。 反射系数 由下式给出：

通过求解反射系数 ，可以找到每个通道的散射功率：

最后，通过对TE和TM偏振（两个 项）的所有通道贡献求和，找到总散射截面：

出于实际原因，l求和没有达到 。相反，在生成训练数据之前，l的阶数会缓慢增加，直到频谱收敛，并且增加更多的阶数不会改变结果。对于此处的典型计算，阶数从4 项到18 项不等。

（2）使用神经网络进行逆向设计

网络的布置是一个完全连接的密集前馈网络。使用的这个最小的网络有四层，每层有100个神经元，这为网络提供了大约50300个参数。网络尺寸随着层数的增加而增加，对于具有十个交替层的粒子，最大尺寸为四层，每层有300个神经元。该网络的输入是每层粒子的厚度（具有固定材料），输出是在400到800纳米之间的200个点采样的光谱。使用100的批量大小训练网络，在大多数试验中训练大约16000个时期。使用的成本函数是频谱上每个点与神经网络200维输出之间的均方误差。此成本函数已针对训练与逆向设计进行了更改。

公开项目源

项目代码开源，使用机器学习解决物理问题的示例存储库，专为解决逆向设计问题而设计，特别是围绕光子学和光学的问题。
要运行Matlab代码，需要安装Matlab。对于此代码，论文使用了Matlab R2017a。请注意，该项目可以在没有Matlab的情况下完成，但除非安装了Matlab，否则无法进行速度和数据生成的比较。
该代码库基于Python 2.7，使用的pip包显示在requirements.txt文件中。要在AWS上运行此程序，请使用AMI ami-52bb0c32和p2.xlarge实例。

项目开源地址：https://github.com/iguanaus/ScatterNet

• SOSTOOLS

概述：
SOSTOOLS是一个免费的MATLAB工具箱，用于制定和求解平方和(SOS)优化程序。SOSTOOLS 可用于使用非常简单、灵活且直观的高级表示法来指定和解决平方和多项式问题。SOS程序可以使用 SeDuMi、SDPT3、CSDP、SDPNAL、SDPNAL+、CDCS、SDPA和MOSEK来解决。所有这些都是著名的半定规划求解器，SOSTOOLS在内部处理所有必要的重新表述和数据转换。

项目代码：https://github.com/oxfordcontrol/SOSTOOLS
主页地址：http://www.cds.caltech.edu/sostools/
论文pdf：https://www.researchgate.net/profile/Arkadi-Nemirovski-2/publication/231965827_Interior-point_methods_for_optimization/links/02e7e51b5b040ae623000000/Interior-point-methods-for-optimization.pdf
评价：INTSOSTOOLS用于制定和解决一维积分不等式的优化问题。frlib用于预处理面部缩小步骤。

• NLopt

概述：
NLopt是一个用于非线性优化的免费/开源库，为在线提供的许多不同的免费优化例程以及各种其他算法的原始实现提供了通用接口。其特点包括：
可从 C、C++、Fortran、Matlab 或 GNU Octave、Python、GNU Guile、Julia、GNU R、Lua、OCaml、Rust 和 Crystal 调用。

 许多不同算法的通用接口——只需更改一个参数即可尝试不同的算法。
 支持大规模优化（某些算法可扩展到数百万个参数和数千个约束）。
 全局和局部优化算法。
 仅使用函数值（无导数）的算法以及利用用户提供的梯度的算法。
 无约束优化、有界约束优化和一般非线性不等式/等式约束的算法。
 GNU LGPL 下的免费/开源软件（以及 NLopt 某些部分的宽松许可证）。

项目代码：https://github.com/stevengj/nlopt
主页：https://nlopt.readthedocs.io/en/latest/
论文PDF：https://opg.optica.org/viewmedia.cfm?html=true&seq=0&uri=oe-20-16-18494

• Solving the quantum many-body problem with artificial neural networks (用人工神经网络解决量子多体问题)

概述：
量子物理学中多体问题带来的挑战源于描述多体波函数的指数复杂性中编码的非平凡相关性的困难。在这里，证明了波函数的系统机器学习可以将这种复杂性降低为易于处理的计算形式，适用于一些值得注意的物理案例。引入了基于具有可变数量隐藏神经元的人工神经网络的量子态变分表示。展示的强化学习方案既能够找到基态，又能描述复杂相互作用的量子系统的酉时间演化。提出的方法在一维和二维描述原型相互作用自旋模型方面实现了高精度。

代码和数据文件：
https://www.science.org/doi/suppl/10.1126/science.aag2302/suppl_file/aag2302_code_and_data_files.zip
https://www.science.org/doi/suppl/10.1126/science.aag2302/suppl_file/carleo.sm.pdf
论文地址：https://www.science.org/doi/10.1126/science.aag2302

• NeuralGenetic: Training Neural Networks using the Genetic Algorithm (使用遗传算法训练神经网络)

概述：
NeuralGenetic 是一个使用遗传算法训练神经网络的Python项目。
NeuralGenetic是PyGAD库的一部分，PyGAD库是一个开源Python 3库，用于实现遗传算法和优化机器学习算法。从PyGAD 2.7.0开始，支持回归和分类神经网络。检查 PyGAD 文档中 NeuralGenetic 项目的文档：https://pygad.readthedocs.io/en/latest/gann.html
代码地址：https://github.com/ahmedfgad/NeuralGenetic
文件地址：https://pygad.readthedocs.io/en/latest/gann.html

• Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science (受网络科学启发，具有自适应稀疏连接的人工神经网络的可扩展训练)

概述：
通过深度学习在各个领域的成功，人工神经网络是目前最常用的人工智能方法之一。受到生物神经网络的网络特性（例如稀疏性、无标度）的启发，认为（与一般实践相反）人工神经网络也不应该具有全连接层。在这里，提出了人工神经网络的稀疏进化训练，该算法在学习过程中将连续两层神经元的初始稀疏拓扑（Erdős-Rényi随机图）进化为无标度拓扑。提出的方法在训练前用稀疏层替换了人工神经网络的全连接层，从而成倍地减少了参数数量，而精度却没有降低。展示了我们对受限玻尔兹曼机、多层感知器和卷积神经网络的主张，用于在15个数据集上进行无监督和监督学习。提出的方法有可能使人工神经网络的规模扩大到超出目前的水平。
代码地址：https://github.com/dcmocanu/sparse-evolutionary-artificial-neural-networks
论文PDF地址：https://arxiv.org/abs/1707.04780