- 博客(4)
- 收藏
- 关注
RSS订阅原创 【强化学习笔记】4. 从基于价值到策略梯度 (Policy Gradient)
本文摘要： 传统基于价值的强化学习算法（如Q-Learning和DQN）在连续动作空间任务中存在局限性，包括无法处理无限动作空间和动作突变问题。策略梯度方法通过直接优化策略函数，输出动作的概率分布，有效解决了这些问题。其核心思想是最大化期望累积回报，通过数学推导（策略梯度定理）将未知环境模型消去，最终得到梯度更新公式。REINFORCE算法通过蒙特卡洛采样近似期望值，实现了策略的直接优化，适用于连续动作空间任务。
2026-06-06 11:38:44
310
原创 【强化学习笔记】 3 DQN(Deep Q-Network)以及示例代码
前面学习的与强化控制算法，是基于表格的强化学习算法。他特点很明显，受限于的大小，他是与都分别处于一个离散的环境中。而现实世界是连续性的，因此需要有新的算法来的问题。对此，强化学习开始引入了神经网络，涉及到了深度学习的范畴，首先需要学习的是。
2026-06-05 14:02:58
434
原创 【强化学习笔记】2. SARSA算法及示例代码
SARSA是一种基于值函数的在线策略强化学习算法，与Q-Learning的关键区别在于它使用当前策略实际选择的动作进行更新，而非假设最优动作。SARSA遵循"状态-动作-奖励-下一状态-下一动作"的更新流程，通过贝尔曼期望方程计算动作价值函数，体现同轨策略（On-Policy）特性。相比之下，Q-Learning采用离线策略（Off-Policy），在更新时假设最优动作。示例代码展示了SARSA在FrozenLake环境中的实现，包括ε-贪心策略、Q表更新和训练过程。SARSA更保守，会
2026-05-25 23:52:14
379
原创 【强化学习笔记】1.Q_Learning算法及示例代码
本文系统介绍了强化学习中经典的无模型、基于值函数的异策略算法 ——Q-Learning，从核心概念、理论基础到代码实现进行了完整梳理：算法核心：Q-Learning 不直接输出动作概率，而是通过学习动作价值函数 Q(S,A)（状态 - 动作对的期望折现总回报），选择 Q 值最高的动作，实现马尔可夫决策过程（MDP）中的最优策略求解。理论基石：以 “未来累积奖励最大化” 为目标，通过回报的递归形式、贝尔曼最优方程定义了动作价值的理想值；再通过时序差分（TD）学习，用环境采样的经验替代未知的转移概率，得
2026-05-24 21:12:42
663
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人