崔高杰-CSDN博客

原创【论如何对LLM进行反向育儿——错的也当对的训？】——两篇关注错误样本的论文-A3PO和Glow【阅读笔记】

本期介绍两篇关注如何使用错误样本的论文，一篇是 *Rethinking Sample Polarity in Reinforcement Learning with Verifiable Rewards*，后面简称`A3PO`另一篇是 *Learning from Mistakes: Negative Reasoning Samples Enhance Out-of-Domain Generalization*，后面简称`GLOW`

2026-01-27 10:36:36 729

原创【论文阅读笔记】Agent Memory相关文献追踪——异构存储和经验记忆相关

本文收录了Agent Memory相关的几篇论文的主要做法

2026-01-14 20:27:56 878

原创【速通几篇近期热门文章】ELITE，Poisoning Attacks，Honesty over Accuracy，CONVOMEM BENCHMARK

1. ELITE: Embedding-Less retrieval with Iterative Text Exploration 2. Pisoning Attacks on LLMs Require a Near-Constant Number of Pison Samples 3. Honesty over Accuracy: Trustworthy Language Models4. CONVOMEM BENCHMARK

2025-11-21 10:52:08 959

原创什么？！你说LLM最后几层没啥用？你觉得我信吗？——速通三篇关于LLM深度的相关研究工作

本篇是对What Affects the Effective Depth of Large LanguageModels?DR.LLM: DYNAMIC LAYER ROUTING IN LLMS ，HOW DO LLMS USE THEIR DEPTH? 这三篇文章的速度笔记。

2025-11-05 17:53:57 703

原创 LLM能背答案所以会做加法，乘法怎么办？——换个方式背答案就好了——WHY CAN’T TRANSFORMERS LEARN MULTIPLICATION?【论文阅读笔记】

本周记录的是 WHY CAN’T TRANSFORMERS LEARN MULTIPLICATION? REVERSE-ENGINEERING REVEALS LONGRANGE DEPENDENCY PITFALLS 这篇文章，这篇文章细致分析了利用iCOT这种隐推理训练方式训练出的Transformer是如何获得运算乘法的能力的。

2025-10-29 13:16:54 640

原创【一篇为了Scaling law而整容的文章】Pre-training under infinite compute 论文阅读笔记

本篇是对Pre-training under infinite compute这篇论文的阅读笔记。这篇文章其实有很多调参实验可看，也说明了Ensemble仍然是增加模型性能的好方法之一，奈何太想蹭Scaling Law给这篇文章弄的有点四不像。

2025-10-17 15:15:39 945

原创 Sharing is Caring: Efficient LM Post-Training with Collective RL Experience Sharing——论文阅读笔记

本周速读的文章是：Sharing is Caring: Efficient LM Post-Training with Collective RL Experience Sharing，这篇文章我其实没看懂——不是说做法看不懂，而是没看懂怎么个好发，大家奇文共赏吧。

2025-09-18 12:31:39 534

原创大语言模型预训练蒸馏会损害上下文学习能力?——Distilled Pretraining: A modern lens of Data, In-Context Learning and

本周速读的文章是：Distilled Pretraining: A modern lens of Data,In-Context Learning and Test-Time Scaling这篇文章介绍了预训练中使用蒸馏技术带来的负面影响——上下文学习能力的下降，及其响应的解决方案。

2025-09-10 13:07:58 961

原创大模型训练中对SFT和DPO的魔改——PROXIMAL SUPERVISED FINE-TUNING和Semi-online DPO论文阅读笔记

今天简单介绍两篇讨论SFT和DPO算法微改进的文章。这两篇文章的优势都不是理论叙事，也不是发明了个（某某PO），就比较像在工业场景训练当中的微改进，改进简单，效果也不错。一篇是针对SFT的改进 PROXIMAL SUPERVISED FINE-TUNING，一篇是针对DPO的改进 Bridging Offline and Online Reinforcement Learning for LLMs

2025-08-28 18:08:28 1352

原创 DPO-Reward为啥有点不耐造？Why is Your Language Model a Poor Implicit Reward Model?——【论文阅读笔记】

这篇博客是对论文Why is Your Language Model a Poor Implicit Reward Model? 的阅读笔记，这篇文章分析了我们常用的显式的Reward模型和DPO-reward一样的隐式Reward在泛化能力上的差异。

2025-08-21 15:55:14 805

原创如何让LLM变得又纯又欲——Memorization Sinks: Isolating Memorization during LLM Training 论文阅读笔记

文本是针对 Memorization Sinks: Isolating Memorization during LLM Training 这篇论文的阅读笔记，这篇文章介绍的是一种LLM Unlearning的新方法，同样采取的是记忆区隔离的方法，但在记忆区的选择和隔离上做了自己的优化

2025-08-06 13:16:19 735

原创微调性能赶不上提示工程怎么办？Can Gradient Descent Simulate Prompting?——论文阅读笔记

本文是对论文 Can Gradient Descent Simulate Prompting 这篇文章的阅读笔记，其中也穿插了一些与模型知识冲突相关的分析。

2025-07-10 13:35:41 969

原创 Grokking现象为什么不能泛化到第二跳推理？——How does Transformer Learn Implicit Reasoning?论文阅读笔记

本文是对论文How does Transformer Learn Implicit Reasoning?的阅读笔记，其中穿插了部分Grokked Transformers are Implicit Reasoners 这篇文章的图示和解释。力图把两篇文章中关于针对知识二跳推理中Grokking现象的可泛化场景和不可泛化场景的原因展示清楚。

2025-06-26 13:28:06 1166 1

原创 KNOWLEDGE or REASONING ? A Close Look at How LLMs Think Across Domains——数学代码以外的领域的知识密集型推理怎么做？【阅读笔记】

本文是对 KNOWLEDGE or REASONING ? A Close Look at How LLMs Think Across Domains 这篇文章的论文阅读笔记。这篇文章简单来说就是“医学版的SFT Memorizes, RL Generalizes”

2025-06-18 15:07:55 801

原创强大模型通过自我和解进步——Unsupervised Elicitation of Language Models——论文阅读笔记

本文是对Anthropic公司发布的新的论文Unsupervised Elicitation of Language Models 的学习笔记，除了讲解这篇文章的主要内容以外，我还有一个比较大的质疑——这篇工作是否有很大一部分成功依赖于【模型自举】？

2025-06-16 13:07:43 1121 1

原创模型合并对系统2增强系统1的帮助——UNLOCKING EFFICIENT LONG-TO-SHORT LLM REASONING WITH MODEL MERGING——论文阅读笔记

这篇文章是对论文UNLOCKING EFFICIENT LONG-TO-SHORT LLM REASONING WITH MODEL MERGING的内容及其中比较的方法 TA，TIES，AIM,DARE ,Sens-Merging等方法的总结和讨论。

2025-06-11 13:14:50 865 1

原创 To be or Not to be, That‘s a Token——论文阅读笔记——Beyond the 80/20 Rule和R2R

本篇文章是针对两篇关注于LLM生成的COT中关键Token的论文的阅读笔记，第一篇叫 Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning 第二篇叫 R2R: Efficiently Navigating Divergent Reasoning Paths with Small-Large Model Token Routin

2025-06-05 11:18:24 1676 2

原创 Soft thinking和MixtureofInputs——大模型隐空间推理——本周论文速读

本文是针对两篇大模型隐空间推理优化工作的文章速读文章1 是：Text Generation Beyond Discrete Token Sampling，他提出的方法名叫 MOI 后面就称文章1 为MOI文章2 是： Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space 后面称Softthinking本篇对两篇文章的方法做了拆解和比较。

2025-05-27 13:45:50 743

原创提升推理能力会丢失指令跟随的能力？——【论文阅读笔记】

本篇是对When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs 和Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models 这两篇论文的阅读笔记，指的注意的是，作者并不认同这两篇文章的结论，并对着两篇论文中的论证缺失的部分提出了批评

2025-05-23 13:05:30 1430 1

原创 Beyond ‘Aha!’: Toward Systematic Meta-Abilities Alignment in Large Reasoning Models【论文阅读笔记】

本文是针对huggingface 0516 paper of the day的论文 Beyond ’aha‘:Toward Systematic Meta-Abilities Align in Large Reasoning Model的论文阅读笔记和对应的评价及猜测

2025-05-20 12:17:59 972 1

原创 Training Large Language Models to Reason in a Continuous Latent Space——LLM隐空间推理系列论文笔记

本文是针对LLM隐空间推理这一技术路线上，相关有价值的文章的系列总结的第一部分，收录了Coconut和CODI两篇文章的介绍

2025-05-13 18:51:00 1360 1

原创 On the Biology of a Large Language Model——论文学习笔记——拒答和越狱

本篇是对Anthropic团队的模型解释工作 On the Biology of a Large Language Model的阅读笔记的最后一篇。主要讲了模型在什么机制的引导下会拒答，又在什么机制的引导下，会被越狱成功。

2025-05-06 18:51:10 1168

原创 On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其二——数学计算部分

本文是Anthropic团队基于Claude模型的模型解释工作，是对这篇On the Biology of Large Language Model阅读笔记的第二篇，专注于原文的数学计算部分

2025-04-27 13:38:28 1286 1

原创 On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其一CLT与LLM知识推理

这篇文章是对Anthopic公司 Claude团队的LLM解释性研究工作 On the Biology of a Large Language Model的论文学习笔记的第一篇，这篇里主要介绍了解释工具CLT（cross-layer Transcoder的构造和LLM里面进行知识推理的方案

2025-04-23 21:22:08 2205 1

原创 LEARNING DYNAMICS OF LLM FINETUNING【论文阅读笔记】

本文是对ICLR上一篇中稿文章 Learning Dynamic of LLM FineTuning的阅读笔记。本文简述了论文的结论，并详细拆解了文章中的关键事实，对理解LLM的post-train的机制有很好的帮助。

2025-04-11 14:17:00 1591 1

原创 I Have Covered All the Bases Here-Interpreting Reasoning Features in Large Language Models SAE【论文笔记】

本文是对论文I Have Covered All the Bases Here- Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders 的学习笔记，这个文章揭示了Transformer模型做推理的时候的一种机制

2025-03-28 13:59:08 886 1

原创 s1: Simple test-time scaling 【论文阅读笔记】

这篇文章是对文章 s1:Simple test-time scaling的阅读笔记，同时增加了相关方法（包括一篇蚂蚁的综述论文和一篇Google的方法论文的简报。）能够给人一个time-time scaling常见做法的直观解释

2025-03-25 12:08:16 1533 1

原创 Transformers without Normalization 论文阅读笔记

本文是对Transformers without Normalization这篇文章的阅读笔记。包括论文的主要内容，和作者的一些想法。Transformer作为LLM（大语言模型）的基础结构，其中的Normalization步骤是长期验证过有效的模块。这篇论文研究了一种替代方案

2025-03-18 21:15:28 1297 1

原创 Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs精读

本文是对Phi-4 multimodal模型的论文阅读笔记

2025-03-15 20:38:27 1353

原创【一周论文速读笔记】LLM怎么缩减COT推理长度？Fractal Generative Models & Chain of Draft & Sketch-of-Thought

这篇博客整理了这周读过的三篇文章，fractal generative models Chain of Draft: Thinking Faster by Writing Less Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching其中后两篇是在优化COT形式的方式上做LLM推理加速的。

2025-03-12 13:55:25 1245

原创【0样本起手做多标签分类】3——大小模型螺旋上升

本文是0样本起手做多标签分类的第三篇，主要介绍的是大小模型螺旋迭代的步骤和关键要点

2025-03-07 21:00:08 1483

原创【一周论文速度笔记】推理步骤对COT数据的正确性+如何挑选质量好的数据

包括本周速读的三篇文章，LLMs Can Easily Learn to Reason from DemonstrationsStructure, not content, is what matters!Predictive Data Selection: The Data That Predicts Is the Data That Teaches，和Compression Represents Intelligence Linearly

2025-03-05 15:11:29 1325