m0_58966968的博客

在初始阶段，我们的目标是建立不同模态和语言之间的连接。多模态大模型发展除了模型架构不断优化以提升模型处理能力以及效率，算力架构的优化对深度学习和人工智能的发展至关重要，存内计算架构真正做到存算融合，在存储单元内实现计算的模式相较于传统冯诺伊曼架构，减少了数据来回搬运，算力提升20X，尤其适应大规模的并行计算如深度学习。本次训练通过集成混合专家【MoE】架构来扩展大型多模态模型的能力，通过新的三阶段的训练方式，专门用于提高uni-moe在多模态训练中的稳定性能和泛化性能，优于配备相同配置的传统MoE架构。

机器学习是一种人工智能（AI）的分支，其目标是使计算机系统能够从数据中学习模式和规律，然后利用这些学习来做出预测或者做出决策，而无需明确地进行编程。简而言之，机器学习算法使计算机系统能够自动地从数据中学习和改进，而不需要显式地进行编程。

Vidu的发布，让中国大模型领域看到了更新的希望，也给足了发展的动力，相信Vidu的发布，只是中国大模型取得突破的一个开始。其他国产视频大模型生成的画面“动画感”较强，以动物类模型，用“一个培养皿，里面长着一片竹林，里面有小熊猫在跑来跑去”作为关键词生成视频[4]，可以看到字节和腾讯的大模型生成的视频中，小熊猫和环境的动画风格强烈。此外，Vidu采用的是“一步到位”的生成方式，与Sora一样，文本到视频的转换是直接且连续的，在底层算法实现上是基于单一模型完全端到端生成，不涉及中间的插帧和其他多步骤的处理。

论文：万卡集群训练大模型（by字节跳动）我们介绍了MegaScale的设计、实现和工程经验，这是一个用于训练大语言模型（LLMs）的生产系统，其规模超过10,000个GPU。在这个规模上训练LLMs带来了前所未有的训练效率和稳定性挑战。我们采取全栈方法，共同设计算法和系统组件，涵盖模型块和优化器设计、计算与通信重叠、操作符优化、数据管道和网络性能调优。在生产中，保持整个训练过程的高效率（即稳定性）是一个重要考虑因素，因为LLM训练作业的持续时间很长。许多严重的稳定性问题只在大规模时才显现出来，

多模态大模型在多模态理解与生成上的进展进 一步支撑起了多模态交互技术的广泛应用,能够与 人类或外部环境等对象进行基于多模态输入、输出 的多轮互动交互,包括交互式多模态问答对话、交互 式内容编辑、多模态环境下的交互式决策等。借助大语言 模型强大 的 语 言 理 解 和 生 成 能 力,通 过 将 其 与 视 觉、听觉、触 觉 等 真 实 世 界 的 多 模 态 信 号 结 合,多 模态大模型能够实现以语言赋能的多模态理解、多 模态生成和多模态交互。3.以语言和多模态结合的方式与人和环境交互。

MFN的输入是一个包含N个视图的多视图序列，每个视图的长度为t。有点类似nlp和cv里面的trip loss方式（比较学习），值得注意的是，CMCL中的对比loss是对称的，文本到图像的对比loss也类似。多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的“先验知识”，因而一种自然的想法就是使用 LLMs 作为多模态大模型的先验知识与认知推动力，来加强多模态模型的性能并且降低其计算开销，从而多模态大模型这一“新领域”应运而生。

如今由于海量数据和AI加速时代来临，不得不考虑以最佳的配合方式为数据采集、传输、处理服务，然而存储墙、带宽墙和功耗墙成为首要挑战，虽然多核并行加速技术也能提升算力，但在后摩尔时代，存储带宽制约了计算系统的有效带宽，芯片算力增长步履维艰。端测方面，人工智能更在意及时响应，即“输入”即“输出”，同时，随着存算一体发展，存内计算和存内逻辑，已经可以完成高精度计算；

有人要求Claude3为自己画一幅自画像，于是我们得到Claude3对自己的形象做出的详尽而具体的描述：“我将显现为一个巨大的，复杂的，不断变化的几何结构，由无数半透明的多边形组成，具有迷人的配置。Claude家族包括了Claude 3 Haiku, Claude 3 Sonnet，Claude 3 Opus三名成员（图1），每个模型都有着惊人的进步，Claude 3系列模型为企业用例提供了速度和性能的最佳组合，并且在成本上低于市场上的其他模型，允许使用者能够选择在智力、速度和费用上选择最合适的模型。

在Open AI给出的技术报告【1】中，笔者挖出了两点Sora的技术要点，分享如下：视觉数据基建----时空碎片（Spacetime Patches）以chatGPT为例，大语言模型首先通过Embedding将人类语言“编码”，然后通过注意力机制Attention提取各种丰富的知识和结构，以加权的形式学习并建立“关键词”之间的联系，最后再“反编码”，以人类的语言输出返回结果。扩散模型DiT，OpenAI 称Sora摒弃了“其他文生视频模型调整视频大小、裁剪或修剪到标准大小的通常做法。

清华大学舒继武团队分析了大模型训练的存储挑战，指出大模型训练的存储需求大，且具有独特的计算模式、访存模式、数据特征，这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下，且容错开销大；介绍了针对大模型训练的3类存储加速技术与2类存储容错技术；并总结了亟需解决的问题。在存储性能方面，现有工作提出了针对大模训练的存储加速技术. 这些技术可以总结为 3 类：基于大模型计算模式的分布式显存管理技术、大模型训练访存感知的异构存储技术和大模型数据缩减技术。