2023年State-of-AI-Report阅读

State of AI Report系列至今已经是第六个年头了

也成为了人工智能领域的风向标

这个报告是由业界领先的AI从业者撰写

除了总结过去

也会对未来发展进行很多预测

---

今年的State of AI报告

汇总和聚焦了过去一年里AI行业中炙手可热的事件

报告中援引的数据

都来自于知名的科技公司和研究小组

由投资人内森·贝纳奇(Nathan Benaich)、亚历克斯·查默斯(Alex Chalmers)、奥斯曼·塞布(Othmane Sebbouh)和科琳娜·古劳(Corina Gurau)共同编写

---

报告从研究进展、行业局势、现有政策、安全问题、未来预测五个维度出发

对最新的AI发展现状和未来预期进行了深度分析

---

今天我们就来聊聊这份报告

先对报告的内容做个大概的总结

报告内容称

OpenAI的GPT-4在发布八个月后

仍然是最强的大语言模型

并且在经典基准测试和在评估人类的考试上

都击败了所有其他大模型

不过报告也指出

随着尖端人工智能系统变得更加强大和灵活

比较它们会变得越来越困难

与此同时，报告认为到2023年

人工智能公司公开分享其最先进研究的文化将会被结束

---

报告称

OpenAI拒绝分享有关GPT-4系统架构的「任何有用信息」，

而谷歌和Anthropic对他们的模型也做出了类似的决定

随着成本升高和对安全担忧的加剧

传统上开放的科技公司

已经接受了对自己最前沿研究不公开透明的文化

---

报告得出的其他主要结论还有

1、在研究进展方面

• GPT-4登场，展示了专有技术与次优开源替代方案之间的能力鸿沟，同时也验证了通过人类反馈进行强化学习的威力；
• 在LLaMa1和LLaMa 2的支持下，越来越多的人试图用更小的模型、更好的数据集、更长的上下文来克隆或击败专有模型
• 目前还不清楚人类生成的数据能维持人工智能扩展的趋势多长时间，也不清楚添加合成数据会产生什么影响，企业中的视频和数据可能是下一个目标；
• 大语言模型和扩散模型通过为分子生物学和药物发现带来新的突破，继续为生命科学界提供助力；
• 以及多模态将成为新的前沿，各种智能体的热度也在大大增加

2、在行业局势方面

• 英伟达凭借各国、初创公司、大型科技公司和研究人员对其GPU的巨大需求，跻身市值万亿美元俱乐部；

• 主要芯片供应商开发了不受出口管制影响的替代产品；

• 在ChatGPT的带领下，生成式AI的应用程序在图像、视频、编码、语音或CoPilot等领域取得了突破性的进展，带动了180亿美元的风险投资和企业投资

3、在现有政策方面

• 世界已经划分出明确的监管阵营，但是全球治理的进展仍较为缓慢，最大的人工智能实验室正在填补这一空白；
• 根据预测，人工智能将影响一系列的敏感领域，包括选举和就业，但是我们还没有看到显著的影响

4、在安全问题方面

• 关于生存风险的讨论首次进入主流，并且明显有加剧趋势
• 许多高性能的模型很容易被「越狱」，
• 为了解决RLHF的挑战，研究人员正在探索替代方案，例如自对齐（self-alignment），以及带有人类偏好的预训练；
• 同时，随着模型性能的提升，一致地评估SOTA模型变得越来越困难

---

好了，以下是报告的具体内容

我们来详细看一下

首先是报告的报告第一部分

研究进展

总结了2023年以来的人工智能技术突破及它们的能力

• OpenAI推出了GPT-4，展示了专有和次优开源模型之间的能力差距，并在经典AI基准测试和为人类设计的考试中，击败了所有其他的大型语言模型

• ChatGPT等大模型的成功，验证了基于人类反馈的强化学习（RLHF）的力量，业界也在积极寻找RLHF的可扩展替代解决方案，比如Anthropic提出了基于AI反馈的强化学习

• 不过大模型厂商越来越趋于技术封闭，OpenAI虽然发布了GPT-4的技术报告，但没有透露任何对AI研究人员有用的信息，这标志着AI研究的产业化。谷歌PaLM-2的技术报告同样如此，Anthropic更是选择不发布Claude的技术报告，直到Meta先后发布了开源大模型Llama和Llama2，选择向公众开放模型权重等技术细节，掀起了一场开放竞争的大语言模型竞赛，并形成了开源与专有大模型之间的抗衡。尤其是Llama2可以直接商用。截止2023年9月，下载量达到了3200万。就流行度而言，ChatGPT在X.com，也就是原来的推特上被提及的次数最多，为5430次。其次是GPT-4和LLaMA。虽然专有闭源模型最受关注，但人们对开源且允许商业用途的大语言模型的兴趣在增加。基于Llama和Llama2，业界不断努力通过开发更小的模型、更好的数据集和更长的上下文，来实现媲美或者超越专有模型的性能。当使用非常专业和精心制作的数据集来训练小型语言模型时，性能可与大50倍的模型相当。上下文长度成为新的参数度量和AI社区日益重视的研究主题

• 随着大语言模型的训练参数量和数据量不断增加，人们开始考虑人类产生的数据会有用完的一天吗？目前还不清楚这些数据能够维持AI的扩展多长时间。根据研究机构Epoch AI的预测，假设当前的数据消耗和生产率不变，到2030至2050年将耗尽低质量语言数据的库存，2026年前将耗尽高质量语言数据的库存，到2030至2060年将耗尽视觉数据库存。在这种情况下，AI生成的内容可以用来扩大可用的训练数据池。不过也有一些尚未明确的观点，比如说合成数据虽然变得越来越有用，但是有证据表明，在某些情况下，生成数据会导致模型出现遗忘的现象。

• 随着文本和图像生成模型变得越来越强大，识别AI生成的内容以及受版权保护来源的内容，这些问题将长期存在，并变得越来越难以解决。

• 大语言模型和扩散模型为分子生物学和药物发现带来新突破，比如受到图像和语言生成模型成功的启发，扩散模型可以从头开始设计多种功能蛋白，为生命科学带来了更多可能。此外，使用大语言模型还可以学习进化的蛋白质结构规则，无需基于细胞的实验，就可以预测扰动多个基因的结果、预测所有单一氨基酸的变化结果等等。谷歌的Med-PaLM 2成为首个在MedQA测试集中达到专家水平的大模型

• 下一步的方向将走向多模态

• AI for Science逐渐兴起，其中医药发展最快，但数学关注度最高

行业局势

报告第二部分行业局势

总结了AI相关的行业的发展趋势

AI尤其是大模型的发展

意味着现在是进入硬件行业的好时机

GPU的巨大需求见证了英伟达盈利的井喷

使之进入了万亿市值俱乐部

英伟达A100、H100 GPU集群的数量不断增加

其芯片使用量是AI研究论文中

所有其他同类芯片总和的19倍

英伟达在持续推出新芯片的同时

旧的GPU也表现出了非凡的生命周期

2017年发布的V100是2022年AI研究论文中

最受欢迎的GPU

英伟达虽在GPU市场称王

但是也迎来了很多挑战者

比如Cerebras

生成式AI迅速崛起

OpenAI的ChatGPT成为增速最快的互联网产品之一

但是

与YouTube、Instagram、TikTok或者WhatsApp等目前最受欢迎的应用程序相比

ChatGPT、Runway或者Character.ai等生成式AI应用程序的中值留存率和每日活跃用户数较低

在消费软件领域之外

有迹象表明生成式AI可以加速实体AI领域的进步

比如在自动驾驶领域

Wayve就推出了用来生成逼真驾驶场景的AI大模型GAIA-1

此外

谷歌和DeepMind合并为谷歌DeepMind

谷歌《Attention is all you need》论文作者全部离职创业

OpenAI、Anthropic等AI公司

正在成为大模型这波技术浪潮的中坚力量

生成式AI公司筹集的种子资金

比所有初创公司多33%，

融资金额比所有初创公司多130%。

现有政策

报告的第三部分，现有政策

介绍了人工智能领域的政策制定情况

不出所料

数十亿美元的投资和能力上的巨大飞跃

已经将人工智能置于政策制定者议程的首要位置

全球正围绕着少数几种监管方法展开

从轻微监管到高度限制性的都有

关于全球治理的潜在建议已经浮出水面

英国人工智能安全峰会可能会有助于开始将这种想法具体化

安全问题

报告的第四部分，安全问题

总结了AI领域讨论最多的安全问题

在往年的State of AI报告中曾经警告称

大型实验室忽视了安全问题

2023年，关于AI风险的辩论集中爆发

尤其是「灭绝风险」或灾难性风险

关于这些话题的讨论经常占据头条

当然，并不是每个人都如此悲观

比如Keras的作者、谷歌AI研究员弗朗索瓦·肖莱（François Chollet）

以及图灵奖得主、Meta首席AI科学家Yann LeCun

肖莱表示

「不存在任何可以带来人类灭绝风险的人工智能模型或技术

即使你根据scaling law

将模型能力外推到未来也不会」

但是风险投资家马克安德森（Marc Andreessen）则问道

「可测试的假设是什么？

谁会证伪这个假设呢？」。

不难看出，政策制定者对此感到震惊

并且一直在努力积累关于潜在风险的知识

英国首先采取行动

成立了专门的前沿人工智能工作组

美国则启动了国会调查

在这样的大环境之下

大型实验室也在积极采取措施

比如DeepMind和Anthropic都公布了相应的安全工具

用来评估模型的安全风险

与此同时

存在更大滥用风险的开源模型也备受关注

因此Meta等发布开源大模型的公司也在积极采取措施

在报告的最后一部分

作者给出了他们对于未来一年

AI发展趋势的十大预测，包括

1、一部好莱坞级别的电影将使用生成式人工智能

来制作视觉效果

2、一家生成式人工智能媒体公司

因为在2024年美国大选中滥用人工智能而受到调查

3、可以自我改进的AI智能体

在复杂环境中

比如AAA游戏、工具使用或者科学研究中击败SOTA

4、科技IPO市场解冻

至少有一家专注于人工智能的公司上市

比方说Databricks

5、在生成式AI的扩展热潮中

一个集团会花费超过10亿美元来训练一个大型模型

6、美国联邦贸易委员会（FTC）

或者英国竞争和市场管理局（CMA）

以竞争为由调查微软与OpenAI的交易

7、除了高级别自愿承诺之外

全球人工智能治理将进展有限；

8、金融机构推出GPU债务基金

从而取代用来计算融资的风险投资股权资金

9、人工智能生成的歌曲进入Billboard Hot 100前10名

或者Spotify Top Hits 2024

10、随着推理工作量和成本的大幅增长

一家大型人工智能公司，比如 OpenAI

将收购一家专注于推理的人工智能芯片公司

当然了

这些预测也不一定是完全正确的

去年，他们也给出了9个预测

并在今年的报告中

公布了针对这些预测的评估

其中有5个被证明是准确的

那么

今年有几个预测能够在明年应验呢

让我们拭目以待

好了

以上就是对这份报告的快速解读

原报告内容较长，一共有160多页

由于视频时间关系

只能挑出里面比较重要的内容跟大家分享

有时间的话

还是建议大家自己去阅读一下原报告

报告地址：https://www.stateof.ai/

报告中文版（来自《腾讯科技》）地址：https://drive.google.com/file/d/1HmfdEVsFcuACb-V8bFavLzVjH6GoKd-A/view?usp=sharing