【LLM】文心大模型4.5和文心大模型X1

note

• 整体多模态图片理解上的测试效果一般，在表格解析上没有Qwen2.5-VL-72B好

一、文心大模型4.5模型

链接：https://yiyan.baidu.com

• 文心大模型4.5是百度自主研发的新一代原生多模态基础大模型，通过多个模态联合建模实现协同优化，多模态理解能力优秀；具备更精进的语言能力，理解、生成、逻辑、记忆能力全面提升，去幻觉、逻辑推理、代码能力显著提升。

技术亮点：
◎ FlashMask动态注意力掩码：加速大模型灵活注意力掩码计算，有效提升长序列建模能力和训练效率，优化长文处理能力和多轮交互表现；
◎ 多模态异构专家扩展技术：根据模态特点构建模态异构专家，结合自适应模态感知损失函数，解决不同模态梯度不均衡问题，提升多模态融合能力；
◎ 时空维度表征压缩技术：在时空维度对图片和视频的语义表征进行高效压缩，大幅提升多模态数据训练效率，增强了从长视频中吸取世界知识的能力；
◎ 基于知识点的大规模数据构建技术：基于知识分级采样、数据压缩与融合、稀缺知识点定向合成技术，构建高知识密度预训练数据，提升模型学习效率，大幅降低模型幻觉；
◎ 基于自反馈的Post-training技术：融合多种评价方式的自反馈迭代式后训练技术，全面提升强化学习稳定性和鲁棒性，大幅提升预训练模型对齐人类意图能力。

二、文心大模型X1

• 文心大模型X1具备更强的理解、规划、反思、进化能力，并支持多模态，是首个自主运用工具的深度思考模型。作为能力更全面的深度思考模型，文心大模型X1兼备准确、创意和文采，在中文知识问答、文学创作、文稿写作、日常对话、逻辑推理、复杂计算及工具调用等方面表现尤为出色。
  • 作为能自主运用工具的大模型，文心大模型X1已支持高级搜索、文档问答、图片理解、AI绘图、代码解释器、网页链接读取、TreeMind树图、百度学术检索、商业信息查询、加盟信息查询等多款工具。

技术亮点：
◎递进式强化学习训练方法：创新性地应用递进式强化学习方法，在创作、搜索、工具调用、推理等场景全面提升模型的综合应用能力；
◎基于思维链和行动链的端到端训练：针对深度搜索、工具调用等场景，根据结果反馈进行端到端的模型训练，显著提升训练效果；
◎ 多元统一的奖励系统：建立了统一的奖励系统，融合多种类型的奖励机制，为模型训练提供更加鲁棒的反馈。

举例，表格解析：

解析结果不正确：

Reference

[1] 文心一言4.5和X1免费，马上安排实测，来看看效果如何！