介绍一种新的算法——Bootstrapped Double Q-Learning (BQL)算法，基于bootstrapping和intrinsic reward进行Q值更新

光剑书架上的书

已于 2023-08-13 01:19:01 修改

阅读量793

点赞数 2

分类专栏： Python实战文章标签：自然语言处理人工智能语言模型编程实践开发语言架构设计

于 2023-08-13 00:54:45 首次发布

本文链接：https://blog.csdn.net/universsky2015/article/details/132255865

版权

Python实战专栏收录该内容

5698 篇文章 115 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Bootstrapped Double Q-Learning (BQL)算法，一种结合bootstrapping和内在奖励进行Q值更新的强化学习方法。BQL旨在解决Q-learning中的不稳定性问题，通过数据增强和内在奖励增强了模型的鲁棒性和样本效率。文章详细解释了算法原理、操作步骤和数学公式，证明了算法的收敛性、稳定性和有效性。

摘要由CSDN通过智能技术生成

作者：禅与计算机程序设计艺术

1.简介

Q-learning算法是强化学习领域中非常经典的一类算法。它能够从离散或连续状态空间，用最优策略解决最优控制问题。其核心思想就是用收益函数（reward function）指导agent在每一个状态下做出动作的选择。但是，Q-learning存在着严重的不稳定性，即环境的变化会导致Q值的跳跃甚至完全崩溃，导致学习过程的困难。因此，如何保证Q值更新的稳定性是当今研究的一个重要课题。目前已有的一些方法主要包括四种，即vanilla Q-learning, Double Q-learning, N-step Q-learning 和 Sarsa Lambda。其中，vanilla Q-learning是一个非常基本的方法，只利用了当前观察到的状态价值函数V和动作价值函数Q的近似关系，不考虑未来的收益（intrinsic reward）。而Double Q-learning则通过采样正例和反例并对比学习更新Q值的方式，解决了vanilla Q-learning过分依赖单一Q网络的问题。N-step Q-learning是在vanilla Q-learning基础上引入了一个多步预测机制，使得模型能够考虑到长期影响，增强了Q值的鲁棒性。Sarsa Lambda同样是一种改进的TD方法，同样是用于TD(λ)算法的一种方式。但与前三者不同的是，Sarsa Lambda采用了bootstrapping技术ÿ