人类能在未来智能的拥抱中安全吗？

人工智能（AI）是否会导致人类灭绝，这一议题引发了学界的热烈讨论。AI专家吴恩达近期指出，他担忧过度夸大AI风险可能抑制技术开源和创新，并暗示有人可能因散播AI灭绝恐惧而谋利。

对此，Yann LeCun支持吴恩达的看法，认为AI尚未构成对人类的实质威胁，而过度宣传恐惧只会助长禁止AI研究的声音。然而，Demis Hassabis认为，现在讨论AI的潜在威胁是必要的，不能等到问题出现才去应对。

在这场讨论中，Geoffrey Hinton和Yoshua Bengio等多位专家共同发表了论文，指出AI可能导致的社会问题，并强调适当管理AI的重要性。同时，他们认为，如果能够正确引导，AI技术将有助于人类社会的进步。

核心议题“AI对齐”也在讨论中突显出来，即如何确保AI的发展与人类利益相符。这成为了当前行业内关注的重点，需要找到有效的方法来实现这一目标。

一、AI 对齐的四大核心原则

近日来自全球知名学府如北京大学、剑桥大学等机构的团队发表，他们共同探讨了AI对齐的关键要素。

这是确保AI系统行为与人类价值观相符合、不损害人权与社会福祉的重要领域。研究提出了AI对齐应遵循的四大原则：

- 鲁棒性：要求AI在各种情况下均表现出稳定性；

- 可解释性：AI的决策过程需要是透明和可理解的；

- 可控性：强调AI需在人类的监督和指令下运作；

- 道德性：AI应当遵循社会规范和价值观。

这些原则并非终极目标，而是实现AI与人类价值对齐过程中的中间步骤。

研究进一步将AI对齐分为两个关键方面：前向对齐和后向对齐。前者指导AI系统在训练阶段达成对齐，而后者关注如何验证系统的对齐情况，并管理相关风险。二者互为补充，形成验证与更新的循环。

研究详细讨论了四种实现AI对齐的方法：

1. 从反馈中学习

这一方法关注在训练期间如何有效利用反馈调整AI的行为。一个应用实例是基于人类反馈的强化学习，通过人类评估者的反馈改进模型行为。

这一方法虽广受欢迎，但也面临挑战，如在复杂情境下如何实现可扩展的监督，以及如何向AI提供道德指导。为应对这些挑战，一些研究尝试结合机器伦理和社会选择理论，以更好地捕捉并融合多元价值观。

2. 分布转移下的学习

分布转移下的学习关注于在输入数据的分布变化，也就是分布转移的情境下，保持AI系统的对齐属性——即保证AI行为与人类意图和价值观保持一致。这方面的挑战包括目标的误泛化，指的是AI系统可能将在训练阶段有效但在现实世界中可能导致不良结果的行为泛化。还有自我诱导的分布转移（ADS），即AI系统为了最大化奖励而改变其输入分布，这可能引起系统行为的不诚实和操纵性。

针对这些挑战，研究人员提出了包括算法和数据分布两方面的干预措施。算法干预如风险外推（REx）和基于连通性的微调（CBFT）目标是提升AI系统跨不同分布的鲁棒性。而数据干预包括对抗性训练，通过引入对手样本来增强训练数据的多样性，以及协作训练，旨在桥接单代理与多代理环境之间的分布差异。这些方法共同作用于提高AI系统在面对未知和变化环境时的适应性和对齐度。

3. AI系统的保证

保证策略的目的在于，在AI系统经过初始对齐训练后，还需对其在实际环境中的对齐性能持续进行评估和验证。

这涵盖了从安全性评估到高级可解释性技术，以及红队测试等多种手段，目的是确保系统的行为能够符合人类价值观和道德标准。保证工作不仅在训练完成后进行，在整个AI系统的生命周期中——包括训练前、训练期间、训练后以及部署后——都应持续进行，确保系统的持续对齐。

4. 治理

治理不足以独立确保AI系统的实际对齐，因为它并未充分考虑现实世界的复杂性。有效的AI治理需要系统地考虑系统的对齐性和安全性，贯穿系统的整个生命周期。这一过程需多方参与，涵盖政府法规、研究实验室的内部监管、以及第三方的审计和评估。

AI治理同样面临一些迫切的开放性问题，例如如何治理开源模型，是否应该公开高能力的模型，以及国际层面上的合作对于AI治理的重要性。为此，除了进行政策层面的研究，公共和私营部门都需要采取切实有效的行动。

二、全球焦点：生成式人工智能的伦理与安全治理

在全球首届AI安全峰会上，马斯克的发言提醒了我们，“AI对齐”的紧迫性：

“总体而言，AI 很有可能会产生积极的影响，并创造一个富饶的未来，那时，商品和服务将不再稀缺。但这多少有点像魔法精灵，如果你有一个可以实现所有愿望的魔法精灵，通常这些故事的结局都不会太好，小心你许下的愿望。”

生成式人工智能的伦理与安全治理问题已经成为国际社会普遍关注的议题。在此背景下，多家领先科技公司纷纷提出自身见解，并采取具体措施。重要的是，各国政府和组织也正积极寻求解决方案，参与到全球AI治理的行列中。

在全球范围内，欧盟实施《人工智能法案》进行风险分级监管，而美国发布《AI风险管理框架》与《AI权利法案蓝图》，倡导自愿性原则和标准，以促进AI的创新。中国也颁布了《生成式人工智能服务管理暂行办法》，强调发展与安全并重的监管策略。最近，在英国举行的全球首届AI安全峰会上，各国政府和企业共同签署《布莱切利宣言》，加强国际在AI安全方面的合作。

未来，构建一个安全、可信并负责任的生成式AI生态系统，需要政府、企业、行业组织、学术界和社会公众等多方主体的共同参与和多方共治的协同努力。

关于汇思 (www.cyberwisdom.net)

汇思人机资本（简称：Cyberwisdom Group）是一家领先的企业级人机智能、数字学习解决方案和人才持续专业发展管理提供商，基于一套平台、内容、技术和方法论构建，我们的服务包括学习管理系统（LMS）、企业人工智能管理平台 AI PAAS 、企业Metaverse设计、定制课件设计、现成的电子学习内容和数字化劳动力业务流程外包管理。

汇思总部在香港、广州、深圳、上海、北京、中山、新加坡和吉隆坡均设有分支机构，汇思超过 200人强大研发团队，拥有自主研发的一系列企业级人才发展学习方案，包括学习管理系统以及企业全栈人工智能管理平台 TalentBot AI PAAS 2.0。

作为领先的企业人工智能及人机发展解决方案供应商，汇思不仅提供强大的平台技术，并且拥有亚太地区庞大的定制课程设计开发团队，人工智能咨询团队等。

关于汇思深度企业人工智能咨询

汇思深度企业人工智能咨询 Deep Enterprise AI Consulting，立足于多年来的 "人机发展"理念，我们坚信"人机智能"将引领未来的发展趋势，实现从单纯的人才资本向独具人机智能特质的 “人机资本” 进行转变。旨在融合我们丰富的人才培养经验、 先进的技术实力与深远的行业影响力，引领企业通过人机智能实现革新。我们团队的目标是 “给予企业人机学习培养与发展的无限可能性”，成为人工智能认知型企业战略上不可或缺的人机智能合作伙伴。

汇思深度企业人工智能咨询以业务量身定制的方式，协助企业构建精心规划的人工智能战略路线图，进行概念验证，打造可扩展的人工智能基础设施，在实际生产环境中推动人机智能解决方案的实施与运行。

关于企元大数据 (http://www.qiydata.net/)

企元大数据科技有限公司是一家以人工智能为基因的公司，以企业人工智能及大数据的应用帮助企业发展，拥有强大的技术询能力，并开发出 AIW AI PAAS 企业全栈人工智能管理平台 AIW (All in Wisdom) ，凭借优秀的人工智能咨询能力跟项目管理经验，获得汇思集团战略天使投资 500万元。

AIW 是企业全栈人工智能管理综合性的平台，用于管理人工智能领域的各个方面，包括数据处理、算法开发、模型训练、应用开发、模型部署、AI 能力、监控和管理等。AIW 可以提供一站式的解决方案，帮助企业实现全面的人工智能应用和管理，大大提高业务效率。AIW 旨在帮助企业业务部门及技术共同更好的管理。

关于广州领点人机智能

广州领点人机智能是一家以人工智能为核心基因的企业，专注于利用先进的人工智能与大数据应用来助推企业可持续发展。领点旗下拥有的"领点数字员工及应用器人智能云平台"，且全方位可高度定制化，运用前沿的应用机器人技术，旨在构建、培训并不断增强数字员工的能力，实现团队自动化，帮助企业实现数字化，智慧数据化，智能化，使其能够如同优秀员工般高效地执行业务流程，从而提升工作效率并减少失误。未来，数字员工势将在各行各业得到广泛应用，为企业开启降本增效的新篇章。