【论文阅读-人机交互】Human in the Loop for Machine Creativity

Title: Human in the Loop for Machine Creativity

From: The Ninth AAAI Conference on Human Computation and Crowdsourcing （HCOMP 2021）

Link: https://www.humancomputation.com/assets/blue_sky/HCOMP_2021_paper_101.pdf

该文章首发于：https://zhuanlan.zhihu.com/p/475505821

我们对人工智能艺术（AI art）的选择、创造和诠释本质上包含了我们的情感反应、文化和背景。因此，人在回路（HITL）的方法可以帮助算法学习很难被编码或量化的创造性过程。这篇论文提出多模式下的 HITL 过程，其中文本、视觉、声音和其他信息耦合在一起，并自动分析人和环境。HITL 的方法将增加人与人工智能之间的互动，从而帮助人工智能系统更好地理解人类自己的创造和情感过程。

背景

人在艺术方面具有很高的创造力，虽然现在有一些工作用AI模型模拟创造，比如用GAN生成digital prints，用LSTM和GPT-3生成小说和textbook。但AI生成文字一般只能在有限的范围内保持连贯一致，AI生成的图像也会有模糊、混叠等问题。也就是说机器创造力是有一定边界的，

HITL 方法可以用来开发机器的创造力。 AI 模型无需定义或编码创造力，而是可以从我们的创造性输出中学习，这些输出从根本上包含我们的情感、文化和背景。高级 HITL 方法旨在增加人与 AI 之间的交互，这将有助于生成更多样化、多模式和自主的系统。

传统的人在回路 Conventional Human in the Loop

端到端的方法喜欢用特定风格或者主题的数据来训练模型（Fig1-A），但其实我们和模型的交互和反馈在训练和生成中发挥着至关重要的作用，在不使用特定训练集的情况下，传统的HITL的方法是将人类置于其中以提供输入并指导输出（Fig1-B）。

创新HITL-1: Human as Curator

人类作为策展人。使用人在回路的方式来组织AI的输出来进行演示和展览（Fig-1C）。这个地方我觉得可以理解为“解读者”，也就是在AI的大量创作中，找到有意义的那些，并且为他们赋予人类能够理解的意义。就比如在艺术馆里展出的画下面会有画的名称，创作背景，想表达的意义等等（可不可以理解为，画本身没有意义，是人类赋予它意义hhh）。在人类创作的时候，这些都是由画家一个人完成的，但是AI现在只负责作画，人类就要做为解读者，去精心策划。同样的，为语言或图像生成模型编写提示也可以被视为同时管理提示和生成的输出。

人类作为策展人的计算方式可能会导致系统中的创作过程如Fig-1 D 所示。人类从AI的大量输出中选择一些，并且将这些输出输送给AI模型作进一步的训练。比如模型可以增加一个判别器来询问人类是否选择了这个输出。这个过程的意义其实是，人类或许自己也说不清楚自己为什么选择了这些输出，但是模型可能会学习到这些无意识的偏见（bias）、情绪（emotion）和想象力。

AI艺术不仅仅是原始形式的算法输出，而是它的整体，它传达——或者更确切地说是在观众的脑海中创造——意义和情感。 人类策展人通常会把选定的AI创作品和相关环境相结合，例如，打印绘画的材料，展览的室内设计等。 这样的艺术和社会背景可能成为创造性 AI 模型的宝贵源材料。 这个过程将策展过程与 AI 模型联系起来了。

创新HITL-2: Human as Collaborator

人类作为合作者。人类也可以和AI一起参与创作过程，如Fig1-E 所示。比如协作绘画中人和AI机械臂共同创作；人类艺术家根据 GPT-3的指示合成和采样音频和视觉元素。在这些过程中，人类发号施令，机器去执行。

在更高级的人类作为合作者的方法中，人类还应该负责解释性和表演性的工作（Fig1-F）.人根据AI的输出继续创作，直到完成一个成品。应该试图去理解人是如何整合输入并生成最终艺术品的。人在创作时，会下意识地使用个人认知和文化背景，这些东西很难量化或总结，把人作为一个处理单元，也就是HITL的方法，也许能够处理这种创造性和情绪反应。

在未来的用HITL的方法作机器创造力的工作，人类情感和环境氛围应该被近似、表示、反馈到AI模型中。这将有助于教会AI如何以生成性和表现力的方式更好地处理和表现我们的创造性和情感反应。人工智能模型将学习更多样、细致入微和多模态的理解；比如“sadness”这样的文本不仅可以链接到“blue”或“minor chords”，还可以链接到基于更高级的和声和构图概念的意想不到的声音纹理。

总结

• 人工智能的兴起是艺术史上的关键时刻。人类可以作为策展人和合作者，为创作引人入胜的作品提供创造性和情感反馈。
• 两个参与方式，一个可以认为是在机器的大量输出中作挑选，并给艺术作品赋予一些艺术解释，如果可以，最好把人为什么挑选这个这种潜意识的选择传达给机器。第二个是模型和人共同完成一个作品，根据模型的输出内容人将其变成最终的成品。
• 使用 HITL 的表达性和创造性训练如何帮助教 AI 理解和模仿我们认为理所当然的某些复杂关联和反应。
• 关于“创造力”的讨论在认知科学、计算机科学和艺术领域有着悠久的历史。由于智能既不能轻易定义也不能单独优化，因此创造力是一个广泛而遥远的目标，即使对人类来说也无法量化。显而易见的是，就新颖性和实用性而言，最先进的 AI 模型已经远远超出了程序算法和绘图机。我们设想，提议的 HITL 方法具有巨大的潜力，可以继续推动难以捉摸的机器创造力。