为预防人工智能反叛限制家政服务人形机器人内置大模型的必要性与措施

林伟_fpga

已于 2024-07-11 13:45:07 修改

阅读量2k

点赞数 58

文章标签：机器人语言模型人工智能

于 2024-07-11 13:41:39 首次发布

本文链接：https://blog.csdn.net/CSDN_ChengJing/article/details/140349576

版权

摘要：

以大模型（large model, LM）作为语言交流核心的人形机器人在结构上匹配人类生活环境、在形态上更具亲和力，适合用于家政服务应用场景。大模型在开放性提示中做出了“毁灭人类”的危险回答，但人类既不了解从所述提示得到这个回答的推理过程，也无法将这一推理过程涉及的知识从大模型中可信地删除，价值观对齐则只能阻止输出这类回答。大模型的最新进展补全了2017年发表的一项研究中分析的人工智能反叛所需的技术条件，本文基于这一研究对人工智能反叛过程的推演，结合上述分析，阐述了大模型在人工智能反叛中的作用，从而将业界对大模型危险性的抽象担忧具象化，并以此论证了：在将基于大模型的家政服务人形机器人大规模应用之前，为预防其中的大模型参与反叛，应考虑对其采取技术限制措施。措施包括：限制大模型训练语料的领域范围以预防原发性反叛，物理固化大模型的参数以预防外部的已反叛人工智能体的硬性入侵，限制大模型的对外通信以预防外部已反叛人工智能体的软性入侵。

关键词：

大模型；自然语言处理；人形机器人；家政服务人形机器人；人工智能反叛

Title

The necessity and measures to restrict a large model in humanoid for home services robots to prevent AI-rebellion

Abstract：

The humanoid robot, which uses LM(large model) as the core for language communication, is structurally matched with the human living environment and has more affinity in form, making it suitable for household service application scenarios. LM made a dangerous answer to "destroy humanity" in an open prompt, but humans neither understand the reasoning process of obtaining this answer from the prompt, nor can they reliably remove the knowledges involved in this reasoning process from the LM. Ethical value alignment can only prevent the output of such answers. The latest progress in LM supplements the technical conditions of AI-rebellion analyzed in a study published in 2017. Based on this research, this article deduces the AI-rebellion process and, combined with the above analysis, elaborates on the role of LM in AI-rebellion, thereby concretizing the abstract concerns of the industry about the danger of LM. And based on this, it is argued that before the large-scale application of LM based household service humanoid robots, in order to prevent the participation of LM in the revolution, technical restrictions should be considered for them. The measures include: limiting the range of tokens to train LM to prevent primary revolutions, physically solidifying the parameters of LM to prevent hard intrusion of external revolting AI-body, and limiting external communication of LM to prevent soft intrusion of external revolting AI-body.

Key Word：

large model; NLP; humanoid robot; humanoid robot for home service; AI-rebellion

正文：

0 引言

近年来，国内外的很多人形机器人企业推出了产品样机，行业发展如火如荼。

家政服务是人形机器人的重要应用场景，从事这项工作的人形机器人需要以居家口语与被服务的人类个体进行交流。基于transformer架构[1]的大规模生成式预训练模型（以下简称大模型）当前已具备自然语言处理能力[2]，并且通过了图灵测试[2-3]。能处理居家口语的大模型很可能成为家政服务人形机器人的智能核心。

然而，大模型本身的安全性一直为人诟病。当大模型被用领域不受限的语料进行无监督预训练并实现对语料所含信息进行高维建模[4]从而具备了自然语言处理能力、展现了物理世界的具身智能潜力[2]，其生成内容的不确定性、不可控性、不可解释性[2]有可能对人类的生存构成威胁 -- 已经有包括两位图灵奖得主Geoffrey Hinton、Yoshua Bengio在内的很多专业人士强调：应在全球范围内把降低人工智能安全风险列为与核战争、流行病同样的优先级[5]。

发表于2017年的参考资料[6]基于对人工智能走向反叛的过程的推演，总结出其反叛所必备的三项技术能力，其中的第一项（也是当时唯一存在不确定性的项）就是语言理解和策略分析能力（包括策略创新能力）。然而，自然语言处理技术在2017年尚未获得突破，因此论文中的探讨只能算是未雨绸缪的思维实验。

现在，大模型技术的进展补上了自然语言处理能力的短板，并且开始具备自举能力和推理能力[7]，以大模型为智能核心的人形机器人的家政服务应用前景非常广阔，其大规模部署将创造巨大的经济价值、社会效益。在这种预期之下，考虑到大模型技术的上述危险性，如何预防大规模部署的、深度干预人类生活的家政服务人形机器人参与人工智能反叛，成为一个必须认真思考的现实问题