几度热忱的博客

【强化学习】gymnasium自定义环境并封装学习笔记gym与gymnasium简介gymgymnasiumgymnasium的基本使用方法使用gymnasium封装自定义环境官方示例及代码编写环境文件__init__()方法reset()方法step()方法render()方法close()方法注册环境创建包 Package（最后一步）创建自定义环境示例

【强化学习】DPO（Direct Preference Optimization）算法学习笔记RLHF与DPO的关系KL散度Bradley-Terry模型DPO算法流程

【RLHF个人笔记】RLHF:Reinforcement Learning from Human Feedback具体过程RLHF训练的三个步骤步骤1：收集数据与有监督训练策略步骤2：收集数据训练奖励模型步骤3：结合奖励模型利用强化学习算法如PPO算法来优化策略参考内容

【强化学习】Q-learning，DQN，SARSA算法介绍强化学习算法分类基于价值的方法基于策略的方法Actor-Critic方法Q-learning算法DQN算法强化学习训练数据存在的问题经验回放机制备份网络机制Sarsa算法总结

【强化学习】强化学习基础教程：基本概念、强化学习的定义，要素，方法分类 以及 Rollout、episode回合、transition转移、trajectory轨迹的概念1.基础概念1.1 强化学习的定义1.2 强化学习的基本要素2.强化学习分类2.1 根据agent学习方式分为基于策略的强化学习Policy based RL ，基于价值的强化学习Value based RL以及Actor-Critic方法2.2 根据理不理解所处的环境（agent有无学习环境的模型）分为model-based与

【动手学强化学习】第 7 章 DQN算法知识点总结本章知识点离散和连续的概念CartPole 环境DQN算法简介�Q网络的损失函数经验回放目标网络DQN 代码实践关于代码的思考及各变量的维度问题适用于以图像为输入的 Q网络

【动手学强化学习】第 6 章 Dyna-Q 算法知识点总结本章知识点基于模型的强化学习与无模型的强化学习方法简介无模型的强化学习方法基于模型的强化学习方法强化学习算法的评价指标Dyna-Q算法Dyna-Q 算法的具体流程Dyna-Q 代码实践

【动手学强化学习】第 5 章 时序差分算法知识点总结本章知识点：动态规划与时序差分（temporal difference，TD）的区别时序差分Sarsa算法多步Sarsa算法Q-learning算法在线策略学习和离线策略学习

【动手学强化学习】第四章 动态规划算法知识点总结 动态规划简介 基于动态规划的强化学习算法 悬崖漫步环境 策略迭代算法 策略评估：根据ππ计算VπVπ 策略提升：根据VπVπ优化ππ 策略提升定理的证明 策略迭代 价值迭代算法 收敛性证明 策略迭代 价值迭代 总结

【动手学强化学习】第三章 马尔可夫决策过程 知识点总结本章知识点：马尔可夫性质马尔可夫过程(也称为马尔可夫链）马尔可夫奖励过程马尔可夫决策过程策略马尔可夫决策过程的状态价值函数马尔可夫决策过程的动作价值函数状态价值函数与动作价值函数的关系贝尔曼期望方程MDP马尔可夫决策过程转换为MRP马尔可夫奖励过程蒙特卡洛方法占用度量最优策略贝尔曼最优方程（Bellman optimality equation）

【动手学强化学习】第二章 多臂老虎机问题本章知识点：探索与利用的含义、多臂老虎机问题、累积懊悔的定义、增量式更新期望奖励、经典探索策略（ϵ-贪婪算法、上置信界UCB算法、汤普森采样算法）

动手学强化学习 第一章主要的知识点：强化学习的定义、要素、环境、目标、预测与决策的区别、有监督学习与强化学习的区别

1.回报2.当前时刻的回报与下一时刻回报的关系3.状态价值函数4.动作价值函数5.状态价值函数与动作状态价值函数的关系6.贝尔曼期望方程7.状态价值函数的贝尔曼期望方程8.动作价值函数的贝尔曼期望方程9.贝尔曼期望方程的另一种理解方式，结合下图理解

安装gym==0.18.3报错的解决方法Collecting gym==0.18.3 Using cached gym-0.18.3.tar.gz (1.6 MB) Preparing metadata (setup.py) ... error error: subprocess-exited-with-error × python setup.py egg_info did not run successfully. │ exit code: 1 ╰─> [1 lines

【Reinforcement Learning】Ubuntu中mujoco210 mujoco_py D4RL安装及错误解决本文根据一篇知乎文章进行配置，记录在配置过程中遇到的一些问题，原文作者的教程很详细