大模型专题报告：2023大模型合规白皮书

今天分享的大模型系列深度研究报告：《大模型专题报告：2023大模型合规白皮书》。

（报告出品方：金杜律师事务所）

报告共计：81页

早期模型的探索与局限性

从早期的符号逻辑到现代的深度学习模型，AI 领域经历了数十年的探索和 迭代，为后续突破打下了坚实基础。随着大数据的发展和 AI 计算能力的爆炸式 增长，深度学习模型的崛起显得尤为突出。然而，尽管这些模型在特定任务上 取得了令人瞩目的成就，其在初期也面临着许多局限性，如存在数据依赖、计算消耗大、缺乏可解释性等。这些局限性不仅为 AI 领域带来技术挑战，也引发 了对模型偏见、安全性和应用范围的深入思考。

在机器学习领域的早期阶段，研究者们的主要关注点是基于统计、线性回 归和决策树等的简单模型。早期模型具有以下特点：简单性。早期的模型，如 线性回归和逻辑回归，是基于明确的数学方程，使其容易被理解和解释。计算 消耗低。由于模型的简单性，其在计算上相对高效，不需要大量的计算资源。 表示能力存在上限。虽然早期模型在特定方面表现良好，但其表示能力有限， 尤其体现在处理复杂任务和非线性问题上。

深度学习的崛起

深度学习从其最初的简单尝试到现今所达到的辉煌高峰，不仅展现了技术 的快速发展，更揭示了人类在追求智慧和知识上的不懈努力。深度学习源自人 类对人脑工作原理的好奇和模仿，意图借助数学和算法的力量，赋予计算机对 信息的处理和认知能力。随着技术日益成熟，深度学习赋予计算机识别图像、 处理自然语言甚至复杂决策的能力，不仅体现技术进步，也标志人工智能正逐 步走向更加深入、广泛的应用领域，为人类生活带来无尽可能性。因此，深度 学习的崛起可以被视为人类科技史上的一大里程碑。

关键技术突破与模型创新。1997 年，Hochreiter 和 Schmidhuber 提出 长短时记忆网络 (Long Short-Term Memory，LSTM)，解决了循环神经网络的 梯度消失 / 梯度爆炸的问题，使得神经网络可以更好的处理长文本内容，为序 列数据的处理开辟了新天地。1998 年，Yann LeCun 及其团队提出 LeNet-5， 但真正让深度学习走向世界舞台的是 2012 年由 Alex Krizhevsky 等人设计的 AlexNet，其在 ImageNet 挑战赛中大胜，展示了深度学习在图像处理上的潜力。 2014 年，生成式对抗网络 (Generative Adversarial Networks，“GAN”) 被 提出。GAN 的原理是通过竞争机制来逐步提高生成器的准确性。2016 年横空 出世击败围棋世界冠军李世石的 AlphaGo，就是基于 GAN 架构训练的模型。 2017 年，Google 提出 Transformer 架构，此后 BERT、GPT 等模型皆以其为 基础，在自然语言处理任务中达到新高度。

GPT等代表性大模型的影响

Transformer 架构的优点是可以并行处理输入序列的所有元素，能够捕捉 长序列内容的关联关系，因此 Transformer 架构不再受到“短时记忆”的影响， 有能力理解全文，进而 Transformer 成为自然语言处理的主流架构。

一个原始的 Transformer 架构由编码器 (Encoder) 和解码器 (Decorder) 两部分构成，其中编码器用于将输入序列转换为一系列特征向量，解码器则将 这些特征向量转换为输出序列，即：输入内容——编码器——解码器——输出 内容。如果给编码器输入一句英语“She is a student”，解码器返回一句对 应的中文“她是一名学生”。Transformer 的架构和自注意力机制能够实现这 些的关键在于“将词汇转换为词向量，并通过多头注意力机制（Multi-Head Attention）和前馈神经网络（Feed-Forward Network）两个子层进行处理”。

主要国家和地区加快完善大模型监管

2023 年 11 月 1 日，首届人工智能安全全球峰会在布莱切利园正式开幕， 会上包括中国、美国、欧盟、英国在内的二十余个主要国家和地区共同签署了 《布莱切利宣言》(The Bletchley Declaration)12，承诺以安全可靠、以人为 本、可信赖及负责的方式设计、开发、部署并使用 AI。《布莱切利宣言》肯定 了 AI 的广泛应用前景，同时指出了 AI( 尤其是包括大模型在内的前沿高功能通 用 AI 模型 ) 在包括网络安全和生物技术等领域所可能造成的风险，以及需要解 决的包括保护人权、透明度和可解释性、公平性、问责制、监管、人类监督与 控制、歧视与偏见、隐私与数据保护、合成欺骗性内容、AI 滥用等问题，并确 认 AI 开发者需要对该等风险及问题承担重大责任。各国家和地区共同承诺在国 际层面识别共同关注的前沿 AI 安全风险，并承诺在各国家和地区制定各自的基 于风险的政策。最后，《布莱切利宣言》表达了支持建立一个具有国际包容性 的前沿 AI 安全科学研究网络的决心。《布莱切利宣言》作为目前全球针对 AI 监管的前沿文件，显示了全球对于 AI 发展的密切关注。

目前，就欧盟、美国及英国而言，其均将大模型作为人工智能的一部分进 行监管，因此，对于境外大模型的监管现状的梳理，需要与整体人工智能监管 现状相结合。

未来展望：大模型合规的前沿

大模型技术创新发展与合规风险并存

随着深度学习和其他人工智能技术的快速发展，大模型的结构和性能都得 到显著优化。尤其在大模型的规模、复杂性和应用范围上，技术进步为其提供了强大支持。然而，快速的技术进步也带来了新的合规挑战，尤其体现在数据隐私、模型透明度和伦理道德等方面。

模型结构的优化是为了满足更为复杂的任务需求。例如，Transformer 架 构使得模型可以更好地处理长序列数据，显著提升在自然语言处理和其他序列 任务上的性能，且神经网络的不断深化使得模型可以学习到更为复杂的特征和 规律。但是这种优化也为模型的可解释性和透明度带来挑战，大模型的内部结 构和操作成为了一个“黑盒”，使得外部观察者很难理解其具体的工作原理。

与此同时，技术进步也带来了数据处理和计算的新能力，即模型可以训练 和处理前所未有的大规模数据集，为模型训练提供丰富数据，但这也引发了对 于数据隐私和合规的关注。在欧洲、北美和其他地区，政府和监管机构对数据 隐私和合规提出严格要求，对企业和研究机构在处理用户数据时遵循明确的指 导原则提出要求。

报告共计：81页