解读人工智能的2021：回顾那些激动人心的重大突破

即将过去的 2021 年，又是跌宕起伏的一年。

疫情仍没有结束的苗头，缺芯造成的供应链中断此起彼伏，与此同时，数字化、智能化转型已是大势所趋。全球企业和机构在不断学会适应“新常态”，并从中捕捉新的商业机会。

2021年, 人工智能领域依然热潮汹涌。

AphaFold2 成功预测 98% 蛋白质结构，预训练大模型迎来大爆发，自动驾驶迈入商业化试点探索新阶段，元宇宙概念东风劲吹，首个关于 AI 伦理的全球协议通过，商汤科技即将摘得“AI 第一股”... 前沿技术突破令人欣喜，落地应用“润物细无声”般深入各行业，业界也开始正视人工智能的问题和挑战。

在岁末年初之际，InfoQ 采访了众多行业专家，回顾了 2021 年人工智能大模型、深度学习框架、 NLP、智能语音、自动驾驶、知识图谱等各项 AI 技术的发展情况，并展望了未来一年可能的技术趋势。

2021 年度 AI 技术突破

人工智能预测蛋白质结构

12 月 15 日，Nature 发布了《2021 年十大科学新闻》；12 月 17 日，Science 紧随其后，公布了《2021 年度十大科学突破》。Nature 和 Science 都将「人工智能预测蛋白质结构」评为本年度最重要的发现，Science 更是将其列为“2021 年十大科学突破进展”之首。

长期以来，蛋白质结构的预测一直是生物学领域的研究热点和难点。传统的蛋白质结构探测方法主要有三种：X 射线晶体学、核磁共振和冷冻电镜。但这些方法成本较高，研究周期漫长，且进展有限。

人工智能为这一困扰生物学界数十年的难题按下了快进键。

今年 7 月，蛋白结构两大 AI 预测算法 —— DeepMind 的 AphaFold2 和华盛顿大学等机构研发的 RoseTTAFold 相继开源。

AphaFold2“解锁”98% 人类蛋白质组

7 月 16 日，DeepMind 在 Nature 发表 论文，宣布已利用 Alpha Fold2 预测了 35 万种蛋白质结构，涵盖了 98.5% 的人类蛋白质组，及其他 20 种生物几乎完整的蛋白质组。研究团队还公布了 AlphaFold2 的开源代码和技术细节。

RoseTTAFold 可十分钟内计算出蛋白质结构

同日，华盛顿大学蛋白设计研究所 David Baker 教授课题组及其他合作机构在 Science 上发表 论文 ，公布了其开源蛋白质预测工具 RoseTTAFold 的研究结果。研究团队探索了结合相关思想的网络架构，并通过三轨网络获得了最佳性能。三轨网络产生的结构预测精度接近 CASP14 中的 DeepMind 团队的 AlphaFold2，且速度更快、所需计算机处理能力更低。仅用一台游戏计算机，在短短十分钟内就能可靠地计算出蛋白质结构。

其他研究进展

8 月，中国研究人员使用 Alpha Fold2 绘制了近 200 种与 DNA 结合的蛋白质结构图。11 月，德国和美国的研究人员利用 Alpha Fold2 和冷冻电镜绘制了核孔复合物的结构图。12 月 22 日，深势科技推出了蛋白结构预测工具 Uni-Fold，在国内首次复现谷歌 Alphafold2 全规模训练并开源训练、推理代码。

AI 技术 2021 年发展总结与展望

人工智能迈向“炼大模型”阶段

今年是超大规模预训练模型的爆发之年。

去年，GPT-3 横空出世，这个具有 1750 亿参数规模的预训练模型所表现出来的零样本与小样本学习能力刷新了人们的认知，也引爆了 2021 年 AI 大模型研究的热潮。

谷歌、微软、英伟达、智源人工智能研究院、阿里、百度、浪潮等国内外科技巨头和机构纷纷展开大模型研究和探索。

超大规模预训练模型的“军备竞赛”

2021 年 1 月，Google 推出的 Switch Transformer 模型以高达 1.6 万亿的参数量打破了 GPT-3 作为最大 AI 模型的统治地位，成为史上首个万亿级语言模型。

国内研究机构也不甘示弱。今年 6 月，北京智源人工智能研究院发布了超大规模智能模型“悟道 2.0”，达到 1.75 万亿参数，超过 Switch Transformer 成为全球最大的预训练模型。

值得一提的是，今年国产化大模型研发工作进展飞速，华为、浪潮、阿里、百度等都发布了自研的大模型。

浪潮人工智能研究院首席研究员吴韶华向 InfoQ 表示，现在业界提高模型参数量有两种技术路线，产生两种不同的模型结构，一种是单体模型，一种是混合模型。如浪潮的源大模型，华为的盘古大模型、百度的文心大模型、英伟达联合微软发布的自然语言生成模型 MT-NLG 等走的都是单体模型路线；而智源的悟道模型、阿里 M6 等走的是混合模型路线。

预训练模型技术新进展

OPPO 小布智能中心、 NLP 算法工程师曾冠荣认为，预训练模型在今年取得的重要技术进展有：

• 知识表示和学习机理进一步创新突破

随着对预训练模型的深入理解，预训练模型的知识学习和表征的机理逐步明确，人们得以更加顺利地往模型里注入需要其学习的知识，在这些知识的加持下，对复杂任务的应对能力得到了大幅提升。

• 对比学习、自监督和知识增强

以对比学习为中心，多种增强方法为工具的方式能进一步提升预训练模型的语义理解和表征能力，增强方法的深入让模型自监督成为可能，让对比学习对样本，尤其是正样本的依赖降低，数据依赖的降低势必让模型对少样本甚至无样本任务的适应性提升，模型能更好地完成这类型的任务，这将让预训练模型落地的成本再降低一个层次。

降低 AI 规模化落地的门槛

预训练大模型降低了 AI 应用的门槛，解决了 AI 应用的两个难题：数据和行业知识。它既不需要大量的标注数据，又保障了基础底座。

在预训练模型的业务定制优化和应用方面，曾冠荣认为，从第一个预训练语言模型 BERT 发布至今，已在多个热门任务下得到应用，逐步从一种“潮流”变成前沿技术的“基本操作”，如预训练模型已成为机器翻译领域的基础关键性技术。此外，预训练模型也成为大系统中的一部分，发挥着其语义理解的优势。

无论是业界还是科研，对预训练模型的使用方式逐渐灵活，能从预训练模型中拆解出适合任务的部分并组装到自己的实际任务模型中。

时至今日，对预训练大模型的性能优化仍未终止，在学界&