Text2BIM：基于大型语言模型（LLM）的多代理框架，使设计意图表达更加直观

建筑信息模型（BIM）是一种使用几何和语义数据来全面表示建成资产的方法。 这些数据可以在建筑物的整个生命周期内使用，并在项目利益相关者之间以专门的形式共享。 当前的建筑信息建模（BIM）创作软件考虑了各种设计需求。 由于这种统一的策略，软件现在包括许多功能和工具，这增加了用户界面的复杂性。 将设计意图转化为复杂的命令流程，以在软件中生成建筑模型，对于设计师来说可能具有挑战性，他们通常需要大量培训才能克服陡峭的学习曲线。

最近的研究表明，大型语言模型（LLM）可用于自动创建墙体特征。 先进的3D生成模型，如Magic3D和DreamFusion，使设计师能够用自然语言而不是繁琐的建模命令来表达他们的设计意图； 这在虚拟现实和游戏开发等领域尤其有用。 但是，这些Text-to-3D方法通常使用隐式表示（如Neural Radiance Fields（NeRFs）或体素），这些仅具有表面级几何数据，不包括语义信息，也不建模3D对象的内部结构。 由于本地BIM模型与这些方法之间的差异，很难将这些完全几何化的3D形状纳入基于BIM的建筑设计流程。 此外，由于缺乏语义信息，设计师无法直接在BIM创作工具中更改和修改创建的内容，因此难以在后续的建筑模拟、分析和维护工作中使用这些模型。

慕尼黑工业大学的研究人员进行的一项新研究介绍了Text2BIM，这是一种基于LLM的多代理架构。 团队使用四个具有特定任务和能力的基于LLM的代理，通过文本相互通信，使上述中央想法成为现实。 产品经理 撰写详细的需求文件并改进用户指引， 专业建筑师 基于建筑知识制定文本建筑计划， 程序员 分析需求并编写模型代码， 审阅者 通过提出优化代码的方法来修复模型问题。 这种协作方法确保了Text2BIM的核心理念能够有效、高效地实现。

LLM可以自然地将手动创建的工具功能视为简短的高级API接口。 由于BIM创作软件的原生API通常是低级和细粒度的，因此每个工具都会整合各种可调用的API逻辑以完成任务。 工具可以通过包含精确的设计标准和工程逻辑，准确地解决建模任务，同时避免低级API调用的复杂性和繁琐性。 但是，构建通用工具功能以处理不同的建筑情况并不容易。

研究人员使用定量和定性分析方法来确定包含的工具功能以克服这一挑战。 他们首先查看用户日志文件，以确定设计师在使用BIM创作软件时最常使用哪些命令（工具）。 他们使用了来自全球1000名设计软件Vectorworks匿名用户的一天日志数据，其中包含约2500万条记录，涵盖七种语言。 在清理和过滤原始数据后，提取了最常用的前五十个命令，确保Text2BIM框架的设计考虑到用户的需求和偏好。

为了促进代理特定工具功能的开发，他们省略了主要由鼠标控制的命令，在图表中以橙色突出了通过API实施的通用建模命令。 研究人员仔细研究了Vectorworks的内置图形编程工具Marionette，与Dynamo/Grasshopper类似。 这些视觉脚本系统通常提供底层API的封装版本，针对特定情况进行了调整。 设计人员使用的节点或电池提供了更直观的高级编程接口。 软件供应商根据节点的功能对默认节点进行分类，以方便设计人员的理解和使用。 为了实现类似的目标，团队在“BIM”类别下使用这些节点，因为用例会产生传统的BIM模型。

通过将建议的框架集成到Vectorworks（一种BIM创作工具）中，研究人员能够基于架构创建一个交互式软件原型。 他们的实现基于Vectorworks的开源网页调色板插件模板。使用Vue.js和基于Chromium嵌入框架（CEF）的网络环境，将动态网页界面嵌入到Vectorworks中，使用现代前端技术开发了易于使用和理解的网页调色板。 网页调色板逻辑使用C++函数构建，后端是一个C++应用程序，支持异步JavaScript函数。

评估是通过测试用户提示（指令）并比较不同LLM的输出来进行的，例如GPT-4o、Mistral-Large-2和Gemini-1.5-Pro。 此外，通过故意省略测试提示中的一些建设约束来测试框架在开放环境中生成设计的能力。 为了考虑生成模型的随机性质，他们将每个测试问题在每个LLM中运行五次，生成391个IFC模型（包括优化的中间结果）。 研究结果表明，该方法成功创建了结构良好且逻辑符合用户指定抽象概念的建筑模型。

这一研究成果通过让设计师摆脱重复建模命令的单调性，促进了设计意图的直观表达。 团队认为，用户可以随时返回BIM创作工具并更改生成的模型，在自动化和技术自主之间取得平衡。