最新开源：阿里开源视觉大模型Qwen2-VL；Salesforce发布大型动作模型xLAM

本文链接：https://blog.csdn.net/m0_59164520/article/details/141903128

01.阿里发布最强开源多模态模型Qwen2-VL，性能比肩GPT-4o

Qwen2-VL 是由阿里云 Qwen 团队新推出的多模态大语言模型系列，包括2B、7B参数版本，即将开源72B。其中，Qwen2-VL-72B 在大部分指标上都达到了最优，刷新了开源多模态模型的最好表现，甚至超过了GPT-4o和Claude 3.5 Sonnet等闭源模型。

相比上一代模型，Qwen2-VL 的基础性能全面提升。

可以读懂不同分辨率和不同长宽比的图片，在MathVista、DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现；
可以理解20分钟以上长视频，支持基于视频的问答、对话和内容创作等应用；
具备强大的视觉智能体能力，可自主操作手机和机器人，借助复杂推理和决策能力，Qwen2-VL可以集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作；
能理解图像视频中的多语言文本，包括中文、英文，大多数欧洲语言，日语、韩语、阿拉伯语、越南语等。

图：Qwen2-VL-72B、7B、2B模型能力分数比较

Qwen2-VL 延续了 ViT 加 Qwen2 的串联结构，三个尺寸的模型都采用了 600M 规模大小的 ViT，支持图像和视频统一输入。研发团队还在架构上作了两大改进：

Qwen2-VL 的一项关键架构改进是实现了动态分辨率支持（Naive Dynamic Resolution support）。与上一代模型 Qwen-VL 不同，Qwen2-VL 可以处理任意分辨率的图像，而无需将其分割成块，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。
另一个关键架构增强是 Multimodal Rotary Position Embedding（M-ROPE）。通过将 original rotary embedding 分解为代表时间和空间（高度和宽度）信息的三个部分，M-ROPE 使 LLM 能够同时捕获和集成 1D 文本、2D 视觉和 3D 视频位置信息。这使 LLM 能够充当多模态处理器和推理器。

在这里插入图片描述

GitHub项目地址：https://github.com/QwenLM/Qwen2-VL
模型体验：https://huggingface.co/spaces/Qwen/Qwen2-VL
项目主页：https://qwenlm.github.io/blog/qwen2-vl/

02.Salesforce 发布大型动作模型 xLAM - 7B

在这里插入图片描述

Salesforce 发布 xLAM - 7B、8x7B、8x22B，上下文长度高达 64K，适用于 AI Agents用例。xLAM 是由 Salesforce 开发的大型语言模型系列，专注于函数调用功能，此前开源 1b 和 7b 两种参数规模，支持 16K 上下文长度。该模型旨在增强决策能力，将用户意图转化为可执行的操作，适用于各种领域的自动化工作流程，能自主规划和执行任务。模型经过优化，可以在个人设备上高效部署，支持离线功能和增强隐私。

03.智谱AI开源 CogVideoX-5B 视频生成模型，RTX 3060 显卡可运行

智谱 CogVideoX 系列新开源 CogVideoX-5B，视频生成质量更高，视觉效果更好，能够生成720x480分辨率、6秒时长的视频，每秒8帧的帧率，使得生成的视频在动态表现上更为连贯流畅。

CogVideoX-5B 在FP-16精度下的推理仅需18GB显存，微调只需40GB显存，RTX 3060显卡就能够运行该模型。CogVideoX 是智谱开源的视频生成模型，该模型与此前发布的“清影“同源。CogVideoX 包含多个不同尺寸的模型，此前开源的版本为CogVideoX-2B。

04.字节 Show-o：统一多模态理解和生成模型

Show-o 是一个Show Lab、字节等提出的单一 Transformer 模型，它统一了多模态理解和生成。该模型能够处理图像描述、视觉问答、文本生成图像、文本引导的图像修复和外推等任务。

Show-o 统一了自回归和（离散）扩散建模，以自适应地处理各种混合模态的输入和输出，在各种基准测试中，它都表现出与现有的单个模型相当或更优异的性能，这极大地凸显了它作为下一代基础模型的潜力。

论文：Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

作者：Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou
机构：Show Lab，新加坡国立大学，字节跳动
论文链接：https://arxiv.org/pdf/2408.12528v2
项目地址：https://github.com/showlab/show-o

Show-o 模型继承了现有的大型语言模型架构，并在注意力层前添加了QK-Norm操作。模型初始化时加载预训练的语言模型权重，并通过添加8,192个新的可学习嵌入来支持离散图像Token。不同于传统的扩散模型需要额外的文本编码器，Show-o 内置了文本条件信息的编码功能，使其能够生成图像。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述