- Retrieval Augmentation 检索增强
- Token-free Models 无Token模型
- Temporal Adaptation 时序适应性
- The Importance of Data 数据的重要性
- Meta-learning 元学习
1 通用模型
通用人工智能一直是AI从业者的目标，越通用的能力，代表模型更强大。
2021年，预训练模型的体积越来越大，越来越通用，之后微调一下就可以适配到各种不同的应用场景。这种预训练-微调已经成了机器学习研究中的新范式。
在计算机视觉领域，尽管有监督的预训练模型如Vision Transformer的规模逐渐扩大，但只要数据量够大，在自监督情况下预训练模型效果已经可以和有监督相匹敌了。
在语音领域，一些基于wav2vec 2.0的模型，如W2v-BERT，以及更强大的多语言模型XLS-R也已经展现了惊人的效果。
与此同时，研究人员也发现了新的大一统预训练模型，能够针对以前研究不足的模态对（modality pair）进行改进，如视频和语言，语音和语言。
在视觉和语言方面，通过在语言建模范式中设定不同的任务，对照研究（controlled studies）也揭示了多模态模型的重要组成部分。这类模型在其他领域，如强化学习和蛋白质结构预测也证明了其有效性。
鉴于在大量模型中观察到的缩放行为（scaling behaviour），在不同参数量规模下报告性能已经成为常见的做法。然而，预训练模型模型性能的提高并不一定能完全转化为下游任务的性能提升。
总之，预训练的模型已经被证明可以很好地推广到特定领域或模式的新任务中。它们表现出强大的few-shot learning和robust learning的能力。因此，这项研究的进展是非常有价值的，并能实现新的现实应用。
对于下一步的发展，研究人员认为将在未来看到更多、甚至更大的预训练模型的开发。同时，我们应该期待单个模型在同一时间执行更多的任务。在语言方面已经是这样了，模型可以通过将它们框定在一个共同的文本到文本的格式中来执行许多任务。同样地，我们将可能看到图像和语音模型可以在一个模型中执行许多共同的任务。
2 大规模多任务学习
大多数预训练模型都是自监督的。他们一般通过一个不需要明确监督的目标从大量无标签的数据中学习。然而，在许多领域中已经有了大量的标记数据，这些数据可以用来学习更好的表征。
到目前为止，诸如T0、FLAN和ExT5等多任务模型，已经在大约100个主要针对语言的任务上进行了预训练。这种大规模的多任务学习与元学习密切相关。如果能够接触到不同的任务分配，模型就可以学习不同类型的行为，比如如何进行语境学习。
ExT5能够实现大规模多任务学习。在预训练期间，ExT5以文本到文本的形式对一组不同任务的输入进行训练，以产生相应的输出。这些任务包括掩码语言建模、摘要、语义分析、闭卷问答、风格转换、对话建模、自然语言推理、 Winograd-schema风格的核心参考解析等。
最近研究的一些模型，如 T5和 GPT-3，都使用了文本到文本的格式，这也成为了大规模多任务学习的训练基础。因此，模型不再需要手工设计特定任务的损失函数或特定任务层，从而有效地进行跨任务学习。这种最新的方法强调了将自监督的预训练与有监督的多任务学习相结合的好处，并证明了两者的结合会得到更加通用的模型。
3 不止于Transformer
前面提到的预训练模型大多数都基于Transformer的模型架构。在2021年，研究人员也一直在寻找Transformer的替代模型。
Perceiver（感知器）的模型架构类似于Transformer的架构，使用一个固定维度的潜在数组作为基础表示，并通过交叉注意力对输入进行调节，从而将输入扩展到高维。Perceiver IO 进一步扩展了模型的架构来处理结构化的输出空间。
还有一些模型尝试改进Transformer中的自注意力层，一个比较成功的例子就是使用多层感知器(MLPs) ，如 MLP-Mixer和 gMLP模型。另外FNet 使用一维傅立叶变换代替自注意力来混合token层面的信息。
一般来说，把一个模型架构和预训练策略脱钩是有价值的。如果 CNN 预训练的方式与Transformer模型相同，那么他们在许多 NLP 任务上都能得到更有竞争力的性能。
同样，使用其他的预训练目标函数，例如ELECTRA-style的预训练也可能会带来性能收益。
4 提示
受到GPT-3的启发，prompting对于NLP模型来说是一种可行的新范式。
提示符通常包括一个要求模型做出某种预测的模式，以及一个用于将预测转换为类标签的语句化程序。目前的方法有PET, iPET 和 AdaPET，利用提示进行Few-shot学习。
然而，提示并不是一种灵丹妙药，模型的性能可能会因不同的提示不同而大不相同。并且，为了找到最好的提示，仍然需要标注数据。
为了可靠地比较模型在few-shot setting中的表现，有研究人员开发了新的评价程序。通过使用公共提示池(public pool of prompts, P3)的中的大量提示，人们可以探索使用提示的最佳方式，也为一般的研究领域提供了一个极好的概述。
目前研究人员仅仅触及了使用提示来改进模型学习的皮毛。之后的提示将变得更加精细，例如包括更长的指令、正面和反面的例子以及一般的启发法。提示也可能是将自然语言解释纳入模型训练的一种更自然的方式。
5 高效方法
预训练模型通常非常大，而且在实践中效率往往不高。
2021年，出现了一些更有效的架构和更有效的微调方法。在模型方面，也有几个新的、更有效的自注意力的版本。
目前的预训练模型非常强大，只需更新少量的参数就可以有效地进行调节，于是出现了基于连续提示和适配器等的更有效的微调方法迅速发展。这种能力还能通过学习适当的前缀或适当的转换来适应新的模式。
另外，还有一些其他路线来提高效率，例如创建更有效的优化器以及稀疏度的量化方法。
当模型不能在标准硬件上运行，或者成本过于昂贵时，模型的可用性就会大打折扣。为了保证模型在不断扩大的同时，模型部署也能使用这些方法并且从中获益，模型的效率需要不断进步。
下一步的研究中，人们应该能够更加容易地获得和使用有效的模型和训练方法。与此同时，社区将开发更有效的方法，来与大型模型接口，并有效地适应、组合或修改它们，而不必从头开始预先训练一个新模型。
6 基准测试
最近机器学习和自然语言处理模型的能力迅速提高，已经超过了许多基准的测量能力。与此同时，社区用于进行评估的基准越来越少，而这些基准来自少数精英机构。每个机构的数据集使用情况表明，超过50% 的数据集都可以认为来自12个机构。
以基尼指数衡量的数据集使用在机构和特定数据库上的集中度有所增加。
因此，在2021年，可以看到很多关于最佳实践，以及如何可靠地评估这些模型的未来发展的讨论。自然语言处理社区2021年出现的显著的排行榜范式有: 动态对抗性评价（dynamic adversarial evaluation）、社区驱动评价（community-driven evaluation），社区成员合作创建评价数据集，如 BIG-bench、跨不同错误类型的交互式细粒度评价 ，以及超越单一性能指标评价模型的多维评价。此外，新的基准提出了有影响力的设置，如few-shot评价和跨域泛化。
还可以看到新的基准，其重点是评估通用的预训练模型，用于特定的模式，如不同的语言（印度尼西亚语和罗马尼亚语），以及多种模态和多语言环境，也应该更多地关注评价指标。
机器翻译meta-evaluation显示，在过去十年的769篇机器翻译论文中，尽管提出了108个可供选择的指，通常具有更好的人类相关性，但74.3% 的论文仍仅使用 BLEU。因此，最近如 GEM 和bidimensional排行榜建议对模型和方法进行联合评估。
基准测试和评价是机器学习和自然语言处理科学进步的关键。如果没有准确和可靠的基准，就不可能知道我们到底是在取得真正的进步，还是在过度适应根深蒂固的数据集和指标。
为了提高对基准测试问题的认识，下一步应该更加深思熟虑地设计新的数据集。对新模型的评估也应该少关注单一的性能指标，而是考虑多个维度，如模型的公平性、效率和鲁棒性等。
7 条件图像生成
条件性图像生成，即基于文本描述生成图像，在2021年取得了显著的进步。
最近的方法不是像 DALL-E 模型那样直接基于文本输入生成图像，而是利用像 CLIP 这样的图像和文本embedding联合模型来引导 VQ-GAN 这样的强大生成模型的输出。
基于似然的扩散模型，逐渐消除信号中的噪声，已经成为强大的新的生成模型，可以胜过 GANs 。通过基于文本输入引导输出，模型生成的图像也逐渐接近逼真的图像质量。这样的模型也特别适用于图像修复，还可以根据描述修改图像的区域。
与基于GAN的模型相比，最近基于扩散的模型的取样速度要慢得多。这些模型需要提高效率，以使它们对现实应用程序有用。这个领域还需要对人机交互进行更多的研究，以确定这些模型如何通过最佳方式和应用帮助人类创作。
8 用于科学的机器学习
2021年，机器学习技术在推进自然科学方面取得了一些突破。
在气象学方面，降水临近预报和预报的进展导致了预报准确性的大幅度提高。在这两种情况下，模型都优于最先进的基于物理的预测模型。
在生物学领域，AlphaFold 2.0以前所未有的精确度预测了蛋白质的结构，即使在没有类似结构的情况下也是如此。
在数学方面，机器学习被证明能够引导数学家的直觉去发现新的联系和算法。
Transformer模型也已被证明能够学习数学性质的差分系统，如训练足够的数据就能够局部稳定。
使用循环中的模型（models in-the-loop）来帮助研究人员发现和开发新的进展是一个特别引人注目的方向。它既需要开发强大的模型，也需要研究交互式机器学习和人机交互。
9 程序合成
今年大型语言模型最引人注目的应用之一是代码生成，Codex 作为 GitHub Copilot 的一部分，首次整合到一个主要产品中。
然而，对于当前的模型来说，生成复杂和长形式的程序仍然是一个挑战。一个有趣的相关方向是学习执行或建模程序，这可以通过执行多步计算得到改进，其中中间的计算步骤记录在一个暂存器（scratchpad）中。
在实践中，代码生成模型在多大程度上改进了软件工程师的工作流程，但仍然是一个有待解决的问题。为了真正发挥作用，这些模型ー类似于对话模型ー需要能够根据新的信息更新其预测，并需要考虑到局部和全局下的代码上下文。
10 偏见
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Go语言工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Go语言全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Golang知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Go）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Go）
[外链图片转存中…(img-79648TMM-1712948358848)]
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
835
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
