人工智能2021概要

一. 2021 AI技术突破

预测蛋白质结构

 人工智能预测蛋白质结构被Nature《2021 年十大科学新闻》以及Science《2021 年度十大科学突破》评为本年度最重要的发现。
 两大AI预测蛋白质结构算法，AphaFold2能够预测98%人类蛋白质组，RoseTTAFold可快速预测蛋白质结构。

二. 2021 AI发展总结

大模型

 2021年 1月，Google Switch Transformer模型打破GPT-3最大AI模型的地位。2021年6月，北京智源人工智能研究院“悟道 2.0”，超过Switch Transormer成为最大AI模型。
 目前提高模型参数量技术路线有单体模型与混合模型两种方式。
 预训练模型进展：（1）对与训练模型知识学习的机理逐步明确（2）对比学习的预训练
 预训练大模型降低AI应用门槛：
大模型未来趋势：（1）人工智能“大一统”的趋势，不同领域相同的框架 （2）大模型落地

深度学习框架

 ViT、Swin等Transformer模型用于NLP以外的领域，深度学习训练大模型框架有新进展。深度学习有从动态图到静态图的框架趋势。国产框架在创新中，但是还没有一款成为国际主流。
 框架研发难点：（1）NPU芯片用于训练模型 （2）框架研发跟随Transformer趋势 （3）编译技术的研发

智能语音

 语音技术趋势：（1）Transformer模型的优势（2）超大规模自监督学习技术（3）多领域技术融合
 商业化难点：（1）技术人员对应用场景需求的不熟悉（2）成本高（3）交付质量与售后服务
 端到端序列建模技术，无监督与训练技术，语音对抗攻击与防御技术。

自动驾驶

 Robotaxi，自动驾驶卡车。
 2022年趋势：（1）数据智能（2）Transformer 与 CNN 技术（3）大算力计算平台 （4） 激光雷达与机器视觉

NLP

 基于提示的微调 (prompt-based tuning）的技术流行。NLP难点：获取大量高质量的标注数据。认知智能。
 2022趋势：教育智能化，场景化高标准机器辅助翻译，服务运营智能化，外文学习，医疗智能化，代码智能分析。
 技术点：基于提示的微调 (prompt-based tuning) 的技术。逻辑推理文本。多模态技术。数据增强。代码智能。

元宇宙

 智能体与世界多模态交互。智能感知与交互技术。面向内容生成的AIGC。合成计算机视觉（SCV）。

知识图谱

 进展：多模态信息抽取。自注意力机制的知识表示方法。知识库。
 难点：算法方面，需要人工校验。工程方面，成本高，需要人工标注。

三、2022 技术趋势

人工智能工程化

人工智能工程化三大核心要点：数据运维、模型运维、开发运维。
生成式人工智能（Generative Artificial Intelligence）的趋势。
元宇宙是虚拟时空的集合包括增强现实（AR），虚拟现实（VR），互联网（Internet）组成。

参考文献

解读人工智能的2021：超大规模预训练模型爆发，自动驾驶迎来商业化前夜