2021 AI年度报告-stateof.ai出品【2】

承接上一篇的介绍

一、简介

stateof.ai 出品的2021 AI年度报告，其中包含了五点重要的总结：
1：Research：2021年的AI重要科研进展回顾
2：Talent：AI人才的市场供需情况
3：Industry：AI在商业上的不同尝试
4：Politics：AI在政策上、经济上的影响
5：Predictions：接下来一年的AI进展预测
这份188页的PPT报告由知名风投公司Air Street Capital的合伙人Nathan Benaich和投资了100+初创公司的天使投资人Ian Hogarth联合撰写，该系列报告从2018年开始已经连续撰写了4年。除了两位主要作者外，还有众多研究者、机构以及reviewer把关，既有深度又有广度，涵盖了AI的方方面面。

Research

但激励也具有挑战性和脆弱性

• 选择错误的提示可能会导致NLP任务中的大量性能下降。用户可以通过提示学习完全避免这种选择，提示被表述为可学习的向量。
• 纽约大学和Facebook的研究人员对事实检索基准LAMA中的每一个例子都产生了12个不同质量的提示。他们表明，标准的选择方法通常无法找到最佳提示。更糟：45%的情况下，提示选择方法导致的提示比随机选择更糟。令人惊讶的是，较大LMs的精度损失更大。
• 避免提示选择的一种方法是使用连续的可训练提示。P-tuning是一种依赖于此类提示的方法，在LAMA和few-shot的SuperGlue基准测试上优于SOTA方法。不幸的是，这些提示无法解释，并且不可能将其用于zero-shot学习。
  
  通用语言理解评估（GLUE）一年后，SuperGLUE得到解决
• 来自百度、谷歌和微软的3个不同团队在SuperGLUE NLP任务上都超过了人类基线
• 百度的Ernie3.0是最好的评分模型（90.6%），比人类基线高出0.8个百分点。
• ERNIE3.0从两个方面脱颖而出：其培训前数据和历史发展。
• 数据：除了大量的文本语料库外，Ernie3.0还使用了一个包含5000万个事实的大规模知识图来增强模型的世界知识。
• 起源：ERNIE已在中国机构（清华、华为、百度）内全面发展。虽然这些人长期以来一直被视为追随者，但他们现在正领导着NLP SOTA竞赛。
  
  CLIP，但现在是中文
• M6是针对NLP和多模式任务在中文最大数据集上预先训练的100B参数模型
• 虽然基于GPT-3的模型在多模态任务（如从文本生成图像）上表现出了令人印象深刻的性能，但它们主要是在英语文本上进行训练的。
• 清华大学和阿里巴巴的研究人员介绍了一个1.9TB的图像和290MB的中文文本数据集，并在此数据集上预先训练了一个非常大的transformer。
  
  大型语言模型的“民主化【democratization】”
• 在（英语 预训练）GPT-3获得成功后，私营和上市公司、学术研究实验室以及独立的开源项目正在涌现多种语言的大型语言模型。
• 模型和数据集大小不同，很大程度上取决于开发人员可用的资源。
• 北京人工智能研究院开发了最大的中文模型“五道”，也是所有语言中最大的语言模型，其参数为1.75T（即10倍GPT-3）。
• 韩国Naver公司宣布，它已经培训了一款名为HyperCLOVA的204B参数模型，该模型以韩文文本为基础。
• 另一项努力是德国人工智能初创公司Aleph Alpha，该公司于2021年8月宣布开发了一个大型的欧洲语言模型，能够流利地使用英语、德语、法语、西班牙语和意大利语，尽管他们尚未披露模型的所有细节。●与其他组织相反，由独立人工智能研究人员组成的集体EleutherAI公开了他们的6B参数GPT-j模型。更多关于这一点的信息，请访问政治部分