OpenAGI: When LLM Meets Domain Experts、AGI for Agriculture

开源：GitHub - agiresearch/OpenAGI: OpenAGI: When LLM Meets Domain Experts

OpenAGI：一个开源的AGI研究和开发平台，旨在解决多步骤，现实世界的任务。

OpenAGI使用了双重策略，集成了用于基准测试和评估的标准基准任务，以及开放式任务，包括更多可扩展的模型、工具、插件或api，用于创造性地解决问题。任务以自然语言查询的形式呈现给LLM，然后LLM选择并执行适当的模型。我们还提出了一种任务反馈强化学习(RLTF)机制，该机制使用任务结果来提高LLM的任务解决能力，从而创建了一个自我改进的AI反馈循环。

背景介绍

领域专家模型可以被合成成一个更大的“模型”来执行更复杂的任务。模型合成过程可适应输入或任务，因此对于给定的任务，模型被合成为最合适的计划来处理手头的任务。因此，不同的输入或任务可能需要不同的综合模型作为任务解决的计划。

大型语言模型(llm)的最新进展展示了卓越的学习和推理能力，使它们非常适合于选择、综合和执行外部专家模型来解决复杂的任务。

当下困境：

可扩展性:一些现有的作品使用固定数量的模型，如WebGPT和ToolFormer，导致在尝试扩展其功能时遇到困难

非线性任务规划:目前大多数研究仅限于用线性任务规划解来求解任务，这意味着每个子任务必须在下一个子任务开始之前完成。然而，模型的线性规划可能不足以解决复杂的任务，而且许多任务涉及多个多模态输入

定量评价:现有很多研究只提供定性结果，如HuggingGPT。这使得很难评估LLM的规划能力，以确定所采用的策略是否最优。

OpenAGI希望做到的：

与其他作品不同的是，我们提出了OpenAGI，这是一个开源的AGI研发平台，旨在解决现有作品中常见的挑战，如可扩展性，非线性任务规划和定量评估。此外，我们在llm的学习模式中引入了创新的方法，包括任务反馈强化学习(RLTF)和非线性任务规划，旨在解决分布外(OOD)泛化、最优任务规划和人工智能自我完善方面的挑战。

OpenAGI工作流程：

1)给出特定任务的自然语言指令;

2)通过人工设计提示符对指令进行扩充，并将其作为输入，LLM生成计划;

3)根据生成的规划选择和合成专家模型，并执行对数据样本的处理;

4)LLM的任务解决能力可以通过输出与真实标签的比较来评估，也可以通过人工评估来评估。

OpenAGI体现了一种双重方法来解决不同的需求——基准任务和开放式任务。一方面，我们合并了基准任务，每个任务都由特定于任务的数据集和评估指标支持。对于基准测试任务，如上图所示，我们利用了来自诸如hugs Face的transformer和diffusers等知名库以及GitHub存储库的专家模型，从而轻松地促进了我们模型集的扩展。此外，数据集经过精心选择，以与各自模型的训练数据集保持一致或相似。然后，我们实施了各种数据增强技术来增强这些原始数据集，从而能够构建复杂的多步骤任务，旨在评估给定LLM的规划和任务解决能力。另一方面，OpenAGI还提供利用各种可扩展模型的开放式任务。这些任务为创造力和富有想象力的问题解决打开了大门，使人们能够探索在更有限的任务框架内可能无法出现的创新解决方案。对于开放式任务，如下图所示，它旨在适应更广泛的需求，我们进一步包括LangChain来提供额外的专家模型，例如Google Search, Wikipedia, Wolfram Alpha等等。事实上，LLM在面对现实世界的任务时，仅仅依靠输入文本进行学习是不够的。为了提高其性能，我们引入了一种被称为任务反馈强化学习(RLTF)的机制。这种方法利用了执行LLM设计的解决方案后从任务中获得的性能反馈。因此，RLTF机制有效地细化了LLM的规划策略，从而形成一个增强的、更具适应性的系统。

主要贡献：

•介绍了OpenAGI，这是一个AGI研究平台，专门用于提供复杂的、多步骤的任务，伴随着它们各自的数据集、评估方法和各种可扩展的模型，这些模型可以综合起来有效地解决这些任务。该平台的目的是帮助量化LLM的总体规划和任务解决能力。OpenAGI通过专注于llm驱动的(开放域)模型合成来拥抱AGI，主要利用hug Face, GitHub和LangChain上的模型和数据集。

•提出了OpenAGI的LLM+RLTF方法，它利用大型语言模型作为控制器来选择，综合和执行各种外部专家模型，以解决复杂的任务。然后利用从这些任务中获得的反馈来完善LLM的规划策略，从而提高LLM的整体绩效和任务解决能力。

•我们在不同的学习模式和OpenAGI管道下评估了不同规模的开源和闭源llm。我们的研究结果表明，即使是较小规模的llm，当与适当的学习模式(如RLTF)配对时，也能够拥有超越具有更大模型参数的竞争对手的潜力。

基准任务：领域专家模型集

语言相关模型:情感分析;文本摘要;机器翻译;遮掩填充;问答。

视觉相关模型:图像分类;对象检测;彩色化;图像超分辨率;图像去噪;图像去模糊。

视觉语言模型:视觉问答;图像字幕生成;文本到图像生成。

虽然仅从输入文本中学习是训练LLM的一种强大方法，但它不足以处理需要对上下文和环境有更深理解的现实世界任务。提高llm能力的一个潜在方法是结合强化学习(RL)技术。通过利用强化学习的优势，LLM可以从试错经验中获得额外的见解。这将导致更健壮和自适应的模型，特别是在标记数据稀缺或任务涉及物理交互的情况下。在这项工作中，我们提出了来自任务反馈的强化学习(RLTF)，如下图所示，它利用任务反馈提供更多的信息来指导llm的学习方向，从而得到改进和更有效的策略。

基础LLMS：

GPT-3.5-turbo；Claude-2；GPT-4；Flan-T5-Large；Vicuna-7B；LLaMA-2。

LLM学习模式：

Zero-shot Learning；Few-shot Learning；Fine-tuning；RLTF。

实验结果分析：闭源大语言模型性能表现更好，但是开源大语言模型更容易受到调优方法的影响。

Prompt:

我们设计了两种类型的提示，结合不同层次的模型描述来测试llm的零射击性能。第一个提示符Prompt-1仅将任务描述与模型名称结合在一起，而第二个提示符Prompt-2将任务描述与全面的模型描述集成在一起，详细说明了模型的使用、输入和输出类型(关于这两个提示符的附加信息在图A.6中作为补充提供)。我们将表3和4中的结果与表1和表2中先前的零射击结果结合起来进行分析。与表1和表2中仅使用任务描述生成结果的原始提示符相比，很明显，在大多数情况下，提供详细的模型相关信息(如prompt -1和prompt -2)时，闭源llm(如GPT系列和Claude-2)往往表现更好。

非线性规划案例研究:

给定的任务描述要求LLM回答用英语提出的关于给定噪声、模糊和灰度图像的德语查询。

从结果可以看出，模型的性能差异很大。例如，FlanT5-Large显示了对查询的理解困难，而Vicuna-7B的答案结合了所有提供的模型，试图解决这个任务。GPT-3.5成功地理解了任务，并给出了合理的计划。该模型生成的计划明显是非线性的，它指示在步骤1和步骤2中使用带有英语查询和处理过的图像作为输入的视觉问答(VQA)模型来完成任务。

总结：

在这项工作中，我们介绍了OpenAGI，这是一个开源的AGI研究平台，旨在通过操纵各种领域专家模型、工具、插件或api，促进LLM在解决复杂、多步骤任务方面的开发和评估。OpenAGI提供了广泛的任务、模型、数据集、基准测试和评估方法。我们还提出了LLM+RLTF方法，该方法将LLM与强化学习相结合，以优化任务求解性能。使用OpenAGI管道和不同学习模式的各种llm的评估表明，当与适当的学习方法(如RLTF)相结合时，较小规模的llm可能会优于较大的模型。

未来，我们的目标是探索1)human - In -the-loop agent，当没有合适的模型时，LLM可能会提示人类专家提供答案，作为任务解决计划的一个步骤，从而实现更好的人类- ai协作;2)可信agent，保证agent在任务解决过程中的安全和道德标准;3)自我改进代理(self-improvement agents)，实现自动化任务生成和训练，使OpenAGI能够独立探索任务，赋予智能代理自我反思、自我提示和自我完善的能力。

AGI for Agriculture

人工智能在农业领域中各式各样的应用

AGI可以从多种方式支持农业发展，如图像、声音、机器人、知识图谱、NLP等，并有可能将它们融合在一起，以支持决策。AGI和人工智能在农业领域的一个显著区别是它们的泛化能力和从新情况中学习的能力。AGI系统有能力将学习从一个领域转移到另一个领域，并在没有人为干预的情况下适应新的情况。这意味着AGI可以以人工智能无法做到的方式从新的数据和经验中学习。一方面，AGI可以实现广泛的新应用;另一方面，AGI可以显著提高现有AI系统在相同任务上的性能。

AGI有可能彻底改变农民与农业机器人互动的方式。使用自然语言处理和机器学习，AGI可以使机器人理解并响应人类的命令，无论是通过语音还是文本给出的命令。这将有助于简化农业机器人的操作，减少新用户的学习时间，并使农民更容易使用它们。

AGI在农业中的一个潜在应用是开发智能农业助手，它可以根据自然语言命令执行种植、浇水和收获作物等任务。这些助手可以使用机器学习算法，根据来自农场的实时数据优化他们的建议，并适应每个农民的偏好。

AGI还可以促进机器人的协调与合作，以优化农场运营。例如，配备AGI的机器人可以相互通信，以确定任务的优先级，优化资源利用率，避免碰撞和其他事故。通过使机器人更有效地协同工作，AGI可以帮助农民提高生产力，降低成本，更好地利用资源。

在育种和表型分析方面，通过分析大量的表型和基因组数据以及其他环境因素，AGI可以帮助育种者以比传统方法更高的精度和效率识别和选择最有前途的植物或动物性状。AGI可以根据育种者的需求，根据表型和基因组数据及其他相关因素，生成预测模型，预测不同育种组合的表现。这些模型可以使用机器学习算法来优化育种策略，并预测不同育种组合的结果。

AGI能够给农业带来的更明显、更广泛和更快的影响是它能够提高现有人工智能系统的有效性。一个例子是作物病虫害类型的识别。农作物病虫害是农业的主要灾害之一。它们具有类型多、影响大、暴发频繁等特点。目前，为了控制病虫害的发生，大多数农民盲目喷洒农药，这不可避免地造成了一系列的虫害环境污染与食品安全等问题。

此外，作物病虫害的鉴定主要依靠农民和专家的经验。在处理作物病虫害的大规模监测时，目前的人工智能系统需要依靠已经标记好的数据进行全面的训练。很容易错过病害作物的抢救措施和最佳时机。AGI技术可以降低作物病虫害类型识别的门槛。农民可以用手机拍摄植物病害的照片，然后上传到AGI模型中。

AGI将能够理解输入指令，并告诉农民如何管理已识别的病虫害，例如，购买哪种农药。此外，农民还可以通过录音设备捕捉田间害虫的声音，并将其上传至AGI模型。然后，AGI可以识别害虫的声音特征，并进行语音识别，以识别农作物害虫。与普通的人工智能和CV算法相比，最值得注意的是，AGI可以通过从新数据中学习和识别人类可能不明显的模式，帮助农民识别以前未知的病虫害。这种概括和学习新情况的能力可以显著提高农业解决方案的有效性，提高行业的整体弹性。

在另一种情况下，杂草的颜色与作物相似，它们的生长也需要阳光和水资源。

杂草会侵入作物的生存空间，抢夺作物的养分。如果田间杂草密度过高，将严重影响作物的产量和品质。因此，除草是农业生产中不可避免的重要组成部分。AGI技术现在可以帮助人们去除杂草。AGI具有超越传统人工智能系统的潜力。AGI可以被训练来识别和区分植物和杂草，然后在不伤害作物的情况下有选择地清除杂草。

与特定的基于ai - cv的农业图像处理框架相比，农业领域AGI应用的主要流水线：

AGI for Agriculture Image Understanding

训练数据生成。将专用计算机视觉算法应用于农业视觉数据的一个限制是训练数据和标签的稀缺性。一种可能的解决方案是建立一个生成合成数据的数字环境，但在模拟环境和现实世界之间通常存在领域差距。必须应用复杂的解决方案，如域适应来解决这个问题。另一方面，多模态生成llm一旦微调到目标农业数据域，就可以生成大量的训练数据和标签，从而构建一个与原始数据分布非常相似的增强训练集。

此外，基于文本的生成模型可以合成符合描述特定场景的特定文本描述的图像和视频。它们可以用来生成定制的农业视觉数据，以微调先进的计算机视觉算法。

多模态数据编辑和操作。农业数据显示，由于季节和天气的变化，这种变化幅度很大。收集能捕捉到所有变化的数据是极其困难的。同时，生成式人工智能模型显示出非凡的编辑和操纵各种属性数据的能力。它们可以用来为某些特征创建原始数据的变体。

在图像天气域转换方面，生成对抗网络(GAN)在将不同天气条件和不同极端气候事件下的地面图像转换为逼真的合成图像方面显示出了巨大的潜力。

近年来，基于扩散的图像合成模型也显示出无需特定任务训练的强大图像编辑能力。

与llm相对应，还开发了大型视觉模型，例如用于图像分割的SAM。例如，在农业图像的背景下，生成式AI模型可以将时间从白天更改为夜晚，将天气从晴天更改为雨天。这些变化有助于为关键的农业任务训练更健壮的模型。

LLMs for Multi-Task Scheduling and Compositing

AGI for Agricultural Knowledge Graphs

Accurate and Interpretable AGI for Agriculture Tasks.

知识图在指导语言模型对不同任务的预测方面特别有用，并有助于将生成的答案建立在特定子图上，以确保生成答案的准确性并改进模型解释。

Text-Knowledge Fusion for Agriculture Tasks.

知识图通常被视为一个额外的数据源，可以补充文本数据进行语言模型预训练或微调，以显著提高其在各种下游任务上的性能，特别是需要复杂推理的困难问答任务。

Applications of Knowledge Graphs to Agricultural AGI.

知识图描述了现实世界实体的属性和关系，为各种农业应用提供了好处，如：搜索引擎、问答系统、推荐系统和内容生成。

AGI for Agricultural Robotics

通过增强机器人的决策过程，AGI可以提高某些任务的执行效率，特别是在一些任务仍然严重依赖人工劳动的农业部门。有了AGI，农业机器人可以优化各种任务，最大限度地减少浪费，使它们成为精准农业的一项有前途的技术。此外，AGI理解自然语言和推理的能力可以大大改善人与机器人之间的互动，从而降低农民使用农业机器人的技术壁垒。AGI理解图像的能力可以使机器人通过计算机视觉更好地了解周围环境，包括识别潜在的安全隐患。人类与农业机器人交互的未来场景如图所示。

A Few Case Studies：AGI for Precision Farming and Phenomics、AGI for Precision Livestock、AGI for Agricultural Infrastructure

精准农业产生的数据通常是从各种传感器收集的原始数据。相比之下，大型语言模型(llm)传统上是在文本领域中操作的。

然而，在实践中，农业的许多进步是由产生大量元数据的实验推动的，这些元数据通常以自然语言表示。llm具有部分或完全自动化任务的潜力，例如结构化非结构化元数据，将元数据从一种格式转换为另一种格式

 

总结：

AGI在农业和食品系统革命方面具有巨大的潜力，包括农作物和牲畜的精准农业、农业图像处理、农业问题理解和回答的NLP、农业机器人、农业和食品知识图谱以及农业基础设施。AGI可以为农民和农业专业人士提供有关如何提高生产力和可持续性的宝贵见解和建议，同时还可以解决该行业面临的挑战，如气候变化、粮食安全和农村发展。

AGI可能会对农业自动化产生重大影响，配备先进计算机视觉和机器学习能力的机器人和无人机可以执行一系列任务，从种植和收获到监测作物和牲畜。凭借其理解自然语言、图像、产生类似人类的反应和增强机器人能力的能力，AGI将成为推动农业发展和改善这一重要部门相关人员生计的创新工具。

AGI在农业中的其他一些潜在应用包括精准农业，其中先进的算法可以分析来自传感器和其他来源的数据，以优化作物产量，减少浪费，并最大限度地减少对环境的影响。AGI还可以通过计算育种来开发新的作物品种，这可以加快开发更具弹性的高产作物的过程。