使用基础模型自动化寻找人工生命 -MIT&OpenAI、Sakana AI等_利用地基模型自动寻找人造生命-CSDN博客

本文链接：https://blog.csdn.net/2401_85373898/article/details/144736116

摘要

前段时间Sakana AI发布了人工智能科学家，人工智能科学家：迈向完全自动化的开放式科学发现，AI Scientist基于大型语言模型，能够模仿科学发现过程，从构思生成开始，接着进行实验，最后撰写完整的科学论文以概述其发现。

随着最近因在蛋白质发现方面的激进进展而颁发的诺贝尔奖，探索大型组合空间的基础模型（FMs）有望革新许多科学领域。最近MIT联合OpenAI、Sakana AI等又发表了新的研究成果进展 - 使用基础模型自动化寻找人工生命。

人工生命（Artificial Life）尚未整合FMs，因此为该领域提供了一个重大机遇，以减轻主要依赖手工设计和反复试验来发现逼真仿真配置的历史负担。本文首次成功利用视觉-语言FMs实现了这一机遇。所提出的方法称为自动搜索人工生命（ASAL），(1) 找到产生目标现象的仿真，(2) 发现生成时间上开放式新颖性的仿真，以及(3) 揭示整个有趣多样化仿真的空间。由于FMs的通用性，ASAL在包括Boid、粒子生命、生命游戏、Lenia和神经细胞自动机在内的多种ALife基质上有效工作。突出此技术潜力的一项重要成果是发现了以前未见过的Lenia和Boids生命形态，以及像康威的生命游戏一样开放的元胞自动机。此外，使用FMs（有限状态机）使得以与人类一致的方式量化先前定性现象成为可能。这一新范式承诺将加速人工生命（ALife）研究，超越仅凭人类智慧所能达到的范畴。

网站：https://asal.sakana.ai/ 代码：https://github.com/SakanaAI/asal

引言

驱动人工生命（ALife）的核心理念是研究“我们所知的生活”，同时也研究“可能的生活”[Langton, 1992]。因为ALife主要通过计算模拟来研究生命，这种方法必然意味着搜索并绘制出全部可能的模拟空间，而不是调查任何单一的模拟。通过这样做，研究人员可以研究不同的模拟配置为何以及如何产生不同的涌现行为。在本文中，我们首次尝试借助AI的基础模型自动化这一模拟搜索过程。

尽管ALife模拟中的进化和学习机制丰富多样，但迄今为止阻碍该领域取得根本性进展的主要障碍是缺乏一种系统的方法来搜索所有可能的模拟配置本身。没有这样的方法，研究人员在设计一个人造世界的最重要方面——世界本身的规则时，不得不依赖直觉和猜测。

挑战的一部分在于，简单部件的大规模互动可能导致复杂的涌现现象，这些现象难以（如果不是不可能）提前预测[安德森，1972年；沃尔夫勒姆和加德尔·哈克，2003年]。模拟配置与其产生行为之间的这种脱节使得直观设计表现出自我复制、类生态系统动态或开放式特性的模拟变得困难。因此，该领域常常提供针对简单且预期结果的手工制作模拟，限制了意外发现的可能性。

鉴于该领域目前即兴的状态，一种自动化搜索模拟本身的方法将通过显著扩大探索范围来转变人工生命（ALife）的实践。研究人员可以重新关注如何最好地描述我们希望最终作为结果出现的现象这一更高层次的问题，并让自动化搜索这些结果的进程自然展开。

为模拟描述目标现象本身就具有挑战性，这在一定程度上解释了为什么自动搜索获得产生目标现象的正确模拟的努力一直不景气[斯泰普尼和希金博瑟姆，2024年；斯坦利和莱曼，2015年]。当然，以前有许多尝试通过复杂的生命度量[沙尔马等人，2023年]、复杂性[莫塔等人，2013年，劳埃德，2001年]或“趣味性”[施米德胡伯，1997年；帕塔克等人，2017年；塞特拉南等人，2011年]来量化人工生命。然而，这些指标几乎总是无法完全捕捉它们试图衡量的人类概念的微妙之处[劳埃德，2001年；卡沃夫斯基等人，2023年]。

虽然我们尚未理解我们的宇宙为何以及如何变得如此复杂、丰富和有趣，但我们仍然可以使用它作为创建引人入胜的人工生命世界的指南。在大量自然数据上训练的基础模型（FMs）通常拥有与人类相似的表示[张等人，2018年；傅等人，2023年；张等人，2023年]，甚至可能正朝着对我们现实世界统计数据的“柏拉图式”表示收敛[胡等人，2024年]。这一新颖特性使它们成为量化人工生命中人类复杂概念的有吸引力的候选者。

本着这种精神，我们提出了一种新的人工生命研究范式，称为“自动搜索人工生命”（ASAL）。研究者首先定义一组感兴趣的模拟，称之为基质。然后，如图1所示，ASAL使得三种不同的方法可供FMs识别有趣的人工生命模拟：

监督目标搜索：寻找产生指定目标事件或事件序列的模拟，有助于发现任意世界或与我们的世界相似的世界。
开放性搜索：寻找在FM表示空间中产生时间上开放性的新颖性的模拟，从而发现对人类观察者持续有趣的世界。
发掘搜索：寻找一组有趣多样的模拟，使得外星世界得以显现。

这种新的自动化方法在多种人工生命（ALife）基质上展现了其潜力，包括Boid群、粒子生命、生命游戏、Lenia以及神经细胞自动机。在每个基质中，ASAL发现了先前未见过的生命形态，并拓展了ALife中涌现结构的前沿。例如，ASAL在Boid群中揭示了异质性的群集模式，在Lenia中发现了新的自组织细胞，并识别出像著名的康威生命游戏一样开放的细胞自动机。除了促进发现之外，ASAL的FM框架还允许对ALife模拟中先前定性现象进行定量分析，提供了一种类似人类的复杂度测量方法。ASAL对特定的FM和模拟基质持中立态度，使其能够与未来的FM兼容。

总体而言，我们基于FM的新范式通过迈向探索人工生命形式广阔空间的最终目标，成为未来ALife研究的一个宝贵工具。据我们所知，这是首项通过基础模型推动ALife模拟发现的工作。

核心速览

研究背景

研究问题：这篇文章要解决的问题是如何利用基础模型（Foundation Models, FMs）自动化搜索人工生命（Artificial Life, ALife）模拟。传统的ALife研究主要依赖于手动设计和试错，而缺乏系统的方法来搜索所有可能的模拟配置。
研究难点：该问题的研究难点包括：大规模简单部分的相互作用可能导致复杂的涌现现象，难以预测；现有的自动化搜索算法在处理动态系统时存在局限性；如何量化人类概念中的复杂性和开放性。
相关工作：该问题的研究相关工作有：早期的遗传算法用于进化元胞自动机（CA）以产生目标计算；最近的一些工作使用特定于Lenia的目标进行搜索；Novelty搜索和MAP-Elites算法在发现新自组织结构方面有所应用；使用基础模型进行ALife和AI的研究。

研究方法

这篇论文提出了自动化搜索人工生命（ASAL）的方法，用于解决ALife模拟搜索中的问题。具体来说，ASAL通过三种不同的机制来发现有趣的ALife模拟：

监督目标搜索：通过寻找生成指定目标事件或事件序列的模拟来实现。
开放性搜索：通过寻找在每个时间步都产生历史新颖性的模拟来实现。
照亮搜索：通过寻找在一组模拟中产生多样化图像的模拟来实现。

实验设计

实验设计包括以下几个方面：

数据收集：使用了多个ALife基质，包括Boids、Particle Life、Game of Life、Lenia和Neural Cellular Automata。
实验设置：在每个基质上，ASAL通过不同的搜索算法进行实验。具体来说，监督目标搜索使用Sep-CMA-ES算法，开放性搜索使用暴力搜索，照亮搜索使用自定义遗传算法。
样本选择：例如，在Boids实验中，使用N=128个鸟群对象和K=16个邻居；在Particle Life实验中，使用N=5000个粒子和K=6种类型的粒子。
参数配置：例如，在监督目标搜索中，优化运行10,000次迭代，突变率为0.1；在照亮搜索中，种群大小为8,192，每次迭代生成32个变异后代。

结果与分析

监督目标搜索：在Lenia、Boids和Particle Life基质上，ASAL能够找到匹配指定提示的模拟。实验结果表明，优化过程在定性上能够很好地找到目标模拟。
时间目标搜索：在NCA基质上，ASAL能够找到生成目标序列事件的模拟。实验结果显示，通过指定期望的进化轨迹，ASAL可以识别出体现这些进化过程的更新规则。
开放性搜索：在Life-like CAs基质上，ASAL发现了具有开放性的模拟。实验结果表明，最开放的CA表现出非平凡的动态模式，位于混沌边缘。
照亮搜索：在Lenia和Boids基质上，ASAL发现了多样化的模拟。实验结果显示，ASAL能够组织发现的模拟行为，形成视觉相似的聚类。
定量分析：ASAL的基础模型框架还允许对ALife模拟中的现象进行定量分析。例如，在Boids实验中，通过线性插值测量中间模拟的状态，展示了参数的非线性、混沌性质。

总体结论

这篇论文通过首次使用基础模型自动化搜索人工生命模拟，提出了一种新的ALife研究范式。ASAL在多个基质上发现了目标、开放性和多样化的模拟，并能够对ALife模拟中的现象进行定量分析。该方法不仅扩展了探索范围，还为未来的ALife研究提供了一个有价值的工具。

论文评价

优点与创新

首次实现自动化搜索：论文首次提出了使用视觉语言基础模型（foundation models, FMs）来自动化搜索人工生命（ALife）模拟的方法，称为自动搜索人工生命（ASAL）。
多种机制发现新生命形式：ASAL通过三种不同的机制发现有趣的ALife模拟：（1）通过文本提示发现，（2）通过搜索开放式模拟发现，（3）通过照亮一组多样化模拟发现。
跨多种ALife基质的有效性：ASAL在多种ALife基质上有效，包括Boids、Particle Life、Game of Life、Lenia和Neural Cellular Automata。
定量分析定性现象：FMs框架允许对ALife模拟中之前仅能定性的现象进行定量分析，提供了一种人类对齐的复杂性测量方法。
发现未见过的生命形式：ASAL发现了之前未见过的Lenia和Boids生命形式，以及类似于Conway’s Game of Life的开放式细胞自动机。
通用性和兼容性：ASAL对特定的FM和模拟基质无关，能够与未来的FM兼容。

不足与反思

FM的选择：尽管实验中没有显示出FM的选择对结果有显著影响，但论文指出FM可能会收敛到类似的现实表示。
基质的适当性：适当的基质取决于研究的现象（如自组织、开放式进化等）。最具有表现力的基质可能会参数化整个视频的所有RGB像素，但对于研究涌现现象则无用。
未来工作：论文建议未来的工作可以使用视频语言FM来处理模拟的时间性质，或者使用3D FM来处理3D模拟。此外，可以将图像转换为文本，以便在文本空间中进行所有分析。

关键问题及回答

问题1：ASAL的监督目标搜索机制是如何实现的？其优化目标是什么？

监督目标搜索机制通过寻找产生指定目标事件或事件序列的模拟来实现。具体来说，ASAL使用CLIP（Contrastive Language-Image Pretraining）作为视觉语言基础模型，将图像和自然语言文本嵌入到同一嵌入空间中。优化目标是最大化在给定时间步内，模拟的最终状态与目标自然语言提示之间的相似性。

问题2：ASAL的开放式搜索机制是如何定义和优化的？其发现的结果如何？

开放式搜索机制通过寻找在每个时间步都产生历史新颖性的模拟来实现。具体来说，ASAL优化的是一个目标函数，该函数最小化模拟的历史新颖性，即在嵌入空间中，当前模拟与其历史状态之间的相似性最小。

问题3：ASAL的照亮搜索机制是如何工作的？其在实验中的效果如何？

照亮搜索机制通过寻找在视觉语言基础模型表示空间中与最近邻距离较远的模拟集合来实现。具体来说，ASAL优化的是一个目标函数，该函数最小化模拟与其最近邻之间的平均距离。

实验结果表明，ASAL能够在Lenia和Boids基质上发现多样化的模拟集合，揭示了先前未见过的生命形式和行为模式。例如，在Lenia中，ASAL发现了类似细胞和细菌的生命形式；在Boids中，ASAL重新发现了群集行为以及其他如蛇行、环绕等行为模式。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述