基于人机偏好的协作

本文探讨了通过人机协作解决复杂问题的方法，特别是在专家领域内。尽管生成式AI技术，如大型语言模型（LLMs），已经取得了显著进展，但它们在解决需要高级专业知识的问题方面仍然存在局限性。文章指出，当前的AI系统在处理复杂解决方案（比如软件开发）、支持多样的人类偏好表达以及在交互环境中适应人类偏好等方面存在不足。为了解决这些问题，作者提出了一种称为HAI-Co2（Human-AI Co-construction）的新框架。该框架强调了通过人机合作构建解决方案的重要性，并讨论了实现这一目标所面临的挑战。此外，文中还介绍了一个案例研究，展示了HAI-Co2框架在构建双摆模拟器中的应用，与传统的生成式AI模型相比，这种方法在有效性上有所提升。通过这种方式，HAI-Co2旨在改善人机合作的过程，以更有效地解决复杂问题。

1 生成式AI的不足

尽管生成式AI，尤其是大型语言模型、视觉语言模型和代码模型取得了显著进展，但它们在处理专家领域内的复杂问题时仍存在诸多局限。当前的生成式AI模型，如GPT-4 Turbo，在遵循用户指令、调试复杂软件代码等方面表现出不足。例如，GPT-4 Turbo有时会忽略用户的明确指示，产生不完整或错误的代码，并且在尝试修复代码错误时可能会引入新的问题。这些问题揭示了现有的生成式AI模型难以适应多模态的偏好表达，并且缺乏有效机制来学习人类专家通过互动过程中隐含的偏好。因此，虽然生成式AI在某些方面取得了进步，但在需要深度理解和灵活互动的场景中仍然面临挑战。

现有的生成式AI技术，尽管在语言生成和代码编写等方面取得了显著进展，但仍存在一些关键性的不足之处。这些问题包括无法准确遵循人类专家的具体指示，特别是在处理复杂任务时；难以有效地调试和改进模块化的软件代码；并且在与人类互动的过程中，不能有效识别并利用人类直接修改的内容作为进一步指导。这些局限性限制了AI系统作为可靠合作伙伴的能力，在解决需要精细规划、遵循多重约束的专业领域问题时尤为明显。因此，尽管当前的技术趋势倾向于完全自动化，但研究认为人机合作的方式更有可能成为解决这类复杂问题的有效途径。

2 HAI-Co2框架

HAI-Co2的框架如下图所示，主要引入了多层抽象，支持多模态偏好输入，以及具有一定的偏好适应性。

（1）多层抽象：

• 引入多层次抽象概念，支持解决方案从宏观设计到微观实现的渐进细化。

• 便于人机交互式修改与追踪。

（2）多模态偏好输入：

• 支持自然语言等多种形式偏好表达。

• 提升人类指导AI行为的灵活性与丰富度。

（3）基于搜索的方法：

• 迭代式搜索方法持续优化候选方案。

• 根据人类反馈调整，最大化满足需求。

（4）偏好适应性：

• 高透明度及灵活性保证对初始偏好的忠实度。

• 相比单一大型语言模型更具优势。

框架还具有扩展性和改进空间：当前版本存在改进空间，如增加直接编辑功能。未来计划整合更多软件开发工具以增强性能。HAI-Co2框架虽强，但面临定义抽象层次与偏好表达机制等研究难题。

3 结语

本文提出了一种名为HAI-Co2的新框架，旨在通过人机协作解决复杂问题，特别关注基于偏好学习的解决方案构建过程，以及利用自然语言促进交互。

论文题目： Problem Solving Through Human-AI Preference-Based Cooperation

论文链接： https://arxiv.org/abs/2408.07461

PS: 欢迎大家扫码关注公众号^_，我们一起在AI的世界中探索前行，期待共同进步！