用预训练Transformer太好发文了！零样本无训练也能发顶会！何恺明都在抢着发！_scaling proprioceptive-visual learning with hetero-CSDN博客

本文链接：https://blog.csdn.net/m0_59235245/article/details/143028315

何恺明团队新作大家关注了没？全新的异构预训练Transformer（HPT）模型！不用从头训练，即可破解通用机器人模型异构性难题，性能暴涨20%+！

这项工作已经被NeurIPS 2024接收为Spotlight，除此之外，还出现了很多预训练Transformer的新研究，比如CVPR 2024的零样本令牌剪枝方法Zero-TPrune，也无需训练就能实现低成本高性能。

可见当下对预训练Transformer的研究热情依旧不减，它强大的语言理解、丰富的表示、高效的迁移与计算等能力，也在诸多任务中得到了广泛的应用。

Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers

方法：作者通过异构预训练在不同机器人体现和任务上学习策略表示，提出异构预训练变换器（HPT），其通过对策略神经网络的共享部分进行预训练，学习任务和体现无关的共享表示，在多个模拟基准和现实环境中，与基线相比，HPT在未见任务的微调策略性能上提高了20%以上。

创新点：

提出了一种名为HPT的新方法，通过在不同机器人硬件和任务的大规模数据上进行异构预训练，学习到一个通用的策略表示。
HPT将策略网络架构模块化，包括特定于硬件的“stem”（用于处理不同硬件的感官输入），共享的“trunk”（Transformer结构，用于处理感官表示并学习输入输出关系），以及特定于任务的“head”（用于将潜在表示映射到动作空间）。

Zero-TPrune: Zero-Shot Token Pruning through Leveraging of the Attention Graph in Pre-Trained Transformers

方法：论文提出了一种无需训练的零样本token剪枝方法Zero-TPrune，利用加权PageRank算法从注意力图中推导token重要性，并结合相似性剪枝，以提升视觉Transformer模型在ImageNet上的性能，这种方法利用了预训练Transformer模型中的注意力图来执行令牌剪枝，以减少模型在边缘设备上部署时的推理成本。

创新点：

提出了Zero-TPrune，这是一种无需训练的零样本令牌剪枝方法，它利用预训练的Transformer模型的注意力图来评估令牌的重要性和相似性，从而实现剪枝。
引入了一种新的算法——加权页面排名，用于在迭代过程中基于注意力图分配令牌的重要性得分，有效降低了不重要令牌的干扰。
通过重要性分布指导的令牌分割和基于相似性的剪枝，提高了剪枝过程的稳定性和准确性，同时减少了计算开销，使得模型能够在不需要微调的情况下快速切换不同的剪枝配置。

xTrimoPGLM: unified 100B-scale pre-trained transformer for deciphering the language of protein

方法：论文提出了一个名为xTrimoPGLM的新型预训练模型，这是一个针对蛋白质语言的大规模Transformer模型，结合了双向自注意力和自回归目标，通过在大规模数据集上的训练，提升了对蛋白质序列的理解能力和生成新蛋白质序列的能力。

创新点：

提出了一个名为xTrimoPGLM的统一蛋白质语言模型，能够同时处理蛋白质理解和生成（的任务。
xTrimoPGLM模型在100亿参数规模和1万亿训练令牌上进行训练，显著提高了在多个蛋白质理解基准测试中的性能。
开发了基于xTrimoPGLM的高性能3D结构预测工具xTrimoPGLM-Fold，它在预测精度和计算效率方面都取得了显著的成果，为蛋白质结构预测领域提供了新的工具。

Transgpt: Multi-modal generative pre-trained transformer for transportation

方法：文章讲述的是一个名为TransGPT的多模态生成预训练Transformer，专门为交通领域设计。该模型包含两个变体：针对单模态数据的TransGPT-SM和针对多模态数据的TransGPT-MM。作者通过在特定的交通数据集上进行微调，使得这两个变体能够理解和生成与交通相关的文本。

创新点：

TransGPT 是一款专为交通领域打造的大型语言模型，具备两个变体：单模态的 TransGPT-SM 和多模态的 TransGPT-MM。
通过整合交通领域特定的数据和模型结构，TransGPT 在交通分析和建模应用中展示了显著的潜力。
通过构建 TransEval，研究了无监督生成的交通模拟数据对大语言模型学习交通相关知识和技能的帮助。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述