benben044的专栏

本文系统介绍了策略梯度（PG）方法及其代表性算法，包括REINFORCE、Actor-Critic（AC）、A2C、DDPG和PPO。

DQN（Deep Q-Network）是一种将深度学习和强化学习结合的算法，通过神经网络近似Q值函数，并利用Q-Learning更新策略。其核心改进包括经验回放和目标网络：经验回放通过存储历史经验并随机采样打破数据相关性；目标网络通过延迟更新参数稳定训练过程。DQN解决了传统Q-Learning在高维状态空间和样本相关性上的痛点，但存在过估计偏差等问题。DoubleDQN通过分离动作选择和评估缓解过估计，而PrioritizedDQN则通过优先级采样提升样本利用率。伪代码展示了DQN的训练流程，包括网络初始

本文介绍了强化学习环境OpenAI Gym的核心概念和使用方法。主要内容包括：1. Agent智能体与Gym环境交互的基本原理；2. 环境安装教程（MuJoCo、Atari等）及测试方法；3. Gym中的空间类型说明；4. Q-Learning算法实现（含Q-Table和DQN两种版本），重点讲解了ε衰减策略和目标网络机制；5. 自定义Atari环境的Wrapper技术，包括NoopReset、MaxAndSkip等预处理方法，用于增强训练稳定性和效率。文章提供了完整的代码示例，涵盖环境配置、算法实现到模型

大语言模型推理包含Prefill和Decode两个阶段。Prefill阶段利用GPU并行计算能力，通过矩阵乘法一次性处理完整Prompt序列，实现QKV向量计算、注意力分数计算和信息聚合的高度并行化。而KVCache不能复用是因为每个Token的向量表示会随上下文层层进化，最终存储的是经过多层网络加工后的特定语境状态。

本文系统介绍了基于人类反馈的强化学习（RLHF）技术框架。主要内容包括：1）RLHF数据格式，包含prompt、优质回答（chosen）和劣质回答（rejected）的成对偏好数据；2）奖励模型训练方法，通过Bradley-Terry损失函数学习人类偏好排序；3）PPO算法原理，通过策略裁剪和KL惩罚实现稳定优化；4）DPO算法创新，直接利用偏好数据优化模型而无需复杂强化学习流程。文章详细阐述了从监督微调（SFT）到强化学习对齐的完整技术路径，比较了传统RLHF与新兴DPO方法的优劣，为大规模语言模型的人类

价值方法：先学每隔状态/动作值多少分，再选最高分的动作。经验回放：把智能体玩过的经历存进一个大仓库，训练时随机抽样，打破数据相关性，稳定学习。目标网络（Target Network）：参数θ-，只用于计算TD目标，不参与梯度更新。Actor 的目标是：多做那些被 Critic 认可的动作，少做被否定的动作。目标网络：教练说“本周目标：平稳起步”，你按这个目标练，而不是每秒改目标。输出：每个动作的Q值（比如左=1.2，右=0.8，开火=2.5）我们的目标：训练一个智能体，让它在环境中获得尽可能多的总奖励。