sherlockMa的博客

这篇文章提出了一种创新的预训练方法，旨在通过强化学习提升大型语言模型（LLMs）在下一个词元预测任务中的表现。该方法的核心在于将下一个词元预测重新定义为一个推理任务，激励模型在预测之前进行深入的思考，并通过可验证的奖励信号来评估预测的正确性。这种方法不仅显著提高了下一个词元预测的准确性，还为后续的强化微调提供了更强大的预训练基础。

这篇文章提出了一种基于离散扩散模型（DMs）的新型视觉语言模型（VLM），LaViDa，旨在解决现有自回归（AR）VLMs在推理速度和可控生成方面的局限性。文章详细介绍了LaViDa的设计、训练和推理过程，并通过一系列实验验证了其在多模态任务中的性能和优势。

Visual AutoRegressive modeling (VAR)，这是一种新一代范式，与标准光栅扫描“next-token预测”不同，它将图像上的自回归学习重新定义为从粗到细的“下一尺度预测”或“下一分辨率预测”。VAR首次使GPT风格的AR模型在图像生成方面超过DiT。除此之外，VAR还延续了LLM的两个重要特性：Scaling Laws and zero-shot泛化。

emu3，这是一系列新的多模态模型，通过next-token进行多模态生成和理解。通过将图像、文本和视频标记到一个离散空间中，并从头训练单个Transformer，Emu 3不仅消除了对扩散和合成方法的依赖，而且还超越了SDXL和LLaVA-1.6等已建立的特定任务模型的性能。这篇论文的研究结果提供了令人信服的证据，表明Next-token可以作为多模态模型的强大范例，超越其他类型的模型，并在各种任务中提供最先进的性能，包括具有挑战性的视频生成。

Show-o”是一种创新的统一Transformer模型，它在多模态理解和生成领域展现出了革命性的潜力。与传统的多模态模型不同，Show-o通过融合自回归和离散扩散建模，能够灵活地处理各种模态的输入和输出。这种融合策略不仅提高了模型的适应性，还增强了其在不同视觉-语言任务中的表现力，包括视觉问题回答、文本到图像生成、文本引导的修复和扩展，以及混合模态生成等。在实际应用中，Show-O模型展示了其在加速图像生成方面的显著优势。