MM-Eureka的多模态推理模型：MM-Eureka: Exploring Visual Aha Moment with Rule-based Large-scale Reinforcem-CSDN博客

本文链接：https://blog.csdn.net/sinat_37574187/article/details/147460577

MM-Eureka: Exploring Visual Aha Moment with Rule-based Large-scale Reinforcement Learning

全文摘要

本文介绍了一种名为MM-Eureka的多模态推理模型，该模型成功地将大规模规则强化学习扩展到多模态推理中。虽然规则强化学习在文本领域中已经取得了显著的成功，但将其应用于多模态设置仍然具有挑战性。本文证明了指令调谐和预训练模型都可以通过规则强化学习发展强大的多模态推理能力，而无需监督微调，并且与替代方法相比具有更好的数据效率。作者开源了完整的管道以促进进一步的研究，并发布了所有代码、模型、数据等。

论文速读

论文方法

方法描述

该研究使用了多模态强化学习（Multi-modal Reinforcement Learning）的方法来提高模型在数学推理任务上的表现。具体来说，他们采用了基于规则的奖励函数，包括准确率奖励和格式奖励，并且通过数据过滤和数据增强的方式提高了训练数据的质量。此外，他们还开发了一个多模态输入强化学习框架，可以支持多种常用模型的训练。

方法改进

相比于传统的基于过程或结果的奖励模型，本研究采用了简单的规则基础奖励函数，即准确率奖励和格式奖励。这种方法能够有效地提高模型的多模态推理能力。同时，通过对数据进行过滤和增强，进一步提高了训练数据的质量，从而更好地支持强化学习算法的学习。

解决的问题

本研究主要解决了如何利用强化学习技术提高模型在数学推理任务上的表现的问题。通过采用多模态强化学习的方法，结合简单有效的奖励函数和高质量的数据集，成功地提高了模型的表现，并且发现了一些有趣的思考模式，如“反思”和“验证”。这些新的发现对于理解人类思维以及设计更好的人工智能系统具有重要的意义。

figure_1

figure_2

figure_3

figure_5

论文实验

本文主要介绍了基于规则强化学习的多模态数学推理模型MM-Eureca的训练过程和性能评估结果。在实验设置方面，作者采用了两种不同的prompt策略，并针对训练数据的不同特点设置了不同的format reward系数。此外，为了评估不同post-training策略的效果，作者还比较了SFT、COT SFT和MPO等方法，并使用多个基准测试对模型进行了全面的评估。

具体来说，在RL从instruct模型中进行训练的实验中，作者使用了54K的数据样本，并通过规则强化学习的方式实现了同步提高准确率奖励和响应长度的目标。与MPO训练方法相比，该模型在所有基准测试中均表现出更好的性能，并且可以与使用12M COT SFT数据训练的模型相媲美。这表明规则强化学习具有简单有效、高效利用数据的特点。

另外，在RL从pretrained模型中进行训练的实验中，作者仅使用了9.3K的K-12数据样本，并观察到了清晰的训练趋势。尽管训练数据量有限，但模型的响应长度和推理深度都得到了同步提高，取得了显著的8.2%的K-12基准测试性能提升和其他评估指标的改善。这些结果进一步证明了规则强化学习的有效性和高效性。

综上所述，本文通过对不同prompt策略、post-training策略和数据规模的实验分析，充分展示了规则强化学习在多模态数学推理任务中的优越性和实用性。

table_3

论文总结

文章优点

该论文主要探讨了在多模态场景下使用深度强化学习（DRL）来提高大模型的推理能力的方法，并提出了一种名为MM-Eureka的框架。文章的优点包括：

对多模态场景下的推理问题进行了深入的研究，提出了有效的解决方案。
提出了MM-Eureka框架，该框架可以支持多种模型和强化学习算法，并具有良好的可扩展性和性能表现。
实验结果表明，MM-Eureka可以在小数据集上实现与大规模训练相似的效果，这为实际应用提供了重要的参考价值。

方法创新点

该论文的主要创新点在于提出了MM-Eureka框架，该框架结合了难度级别的筛选策略和简单的规则强化学习方法，在多模态场景下实现了高效的推理能力提升。此外，文章还探讨了一些失败尝试的原因，例如 Curriculum Learning 和 Online Data Filter 的效果不如预期等，这些尝试虽然没有成功，但也为后续研究提供了一些有价值的思路。