yiyele的博客

本文提出了StarPO（State-Thinking-Actions-Reward Policy Optimization)），这是一个轨迹级智能体强化学习的通用框架，并引入了RAGEN，这是一个用于训练和评估LLM智能体的模块化系统。

本文介绍了ReTool，一种tool-based RL训练方式，让llm训练后会调用tool。

尽管RL对complex reasoning效果提升有重要作用，但是在openAI o1和DeepSeek R1 technical report上都没有详细的实验细节。本文主要提出了DAPO算法，提出了4个关键技术点并开源参数和代码。在AIME 2024验证了DAPO算法的有效性。

因为在long CoT训练中，采用的是rule-based reward，所以不太可能对output length有偏好。为了更好的定位这个问题，本文图示了value，advantage和token position之间的关系。时，会给accumulated reward带来较大的方差，最终会导致更慢的收敛。相比之下，在RLHF中，一个reward model或rule-based scoring mechanism提供了一个非积累和定义良好的轨迹级反馈。

本文主要介绍了stepfun在PPO上的一些实践经验。并且开源了包括code，数据，实验参数等。

本文主要介绍了deepseek-r1和deepseek-r1-zero两种模型的数据构造方式及训练方式。

介绍了一种在模型训练结尾对领域数据上采样能够提升在benchmark上的指标。通过实验表明上采样比例在10-20%是能够在通用语言能力与目标benchmark保持权衡的最好比例。

一开始learning rate随着batch size增大而增大，随后达到一个点后，会随着batch size增加而降低，同时，随着训练不断进行，BnoiseB_{noise}Bnoise​会不断后移。为了加速训练进程，可以设计自适应的learning rate和batch size。

模型结构层面和llava类似，只不过connection layer一个是MLP，一个是perceiver resampler，但对模型效果影响不大；预训练阶段仅训练vit和compression layer；多语言能力仅靠LLM和sft阶段；为了降低幻觉使用了RLAIF-V；目前MiniCPM-V2.6已经发布了，有了更强的OCR，多语言，可靠性，因为目前technical report还没发布，技术细节还不清楚。

本文主要介绍了llama3.1，Nemotron4-340B及gemma2三个模型在post-training阶段的一些工作。主要涉及数据搜集，合成数据，SFT及DPO等。

尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且中间层有着惊人的一致性。

这部分主要探索三个（结构，数据和训练步骤）对多模态大模型效果的影响，模型基础配置：Image Encoder：ViT-L/14模型，训练loss为clip loss，训练数据DFN-5B和VeCap-300M，image size为336*336Vision-Language Connector：C-Abstractor，最大输出144 image token。

本文主要介绍了LLaVA系列的多模态大模型，详细的介绍了每个版本的优化思路及方法。