关于DQN一些小想法

最新推荐文章于 2023-08-27 16:36:13 发布
最新推荐文章于 2023-08-27 16:36:13 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： Reinforcement Learning 增强学习 文章标签： rl dqn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010642383/article/details/53783715
版权

基于目前对RL这方面的了解，主要分为基于三个方面: value function， policy 以及 model

其中目前最广泛的为value function的思路，也就是所谓的q-learning，Deep Q Network 与深度神经网络的结合。


目前主要看了两篇DQN 在NLP 和Object Detection方面的两篇应用的文章深有感触

1. Improving Information Extraction by Acquiring External Evidence with Reinforcement Learning

2. Active Object Localization with Deep Reinforcement Learning


我的思考是，DNQ中每一条记录(s,a,r,s') 其实包含三个方面:

1. 如何定义state

2. 如何确定actions的范围

3. 如何定义reward的规则


例如在论文1中，例如rl去学习如何更好地从文章中的精确地提取entity的信息，其中最重要地是学习去提取和当前事件相同的其他表达方式。

1. state的定义: 也就是DQN的输入，在论文中论文的state由几个方面组成，包括当前entity的置信度，和扩充选择的entity的置信度，他们的matches以及content word的tf-idf。

2. action的定义：论文中有两种actions 也就有两个networks。 每个actions的选择范围是固定的。文中的两个actions：reconcile和 new entity selection（query），其中reconcile定义为只有四种，接受某个，接受所有，拒绝全部以及停止。 query则是利用其他方式定义好的k（常数）个模板。

3. reward的定义：计算一个文章中所有entity的acc（当前）-acc（之前），没有采用绝对值，所有这里存在着惩罚机制。

同样地，论文2也是巧妙地定义了这个方面。


目前，我还没有看过rl在语音识别方面应用的paper，如果您看过比较好的，可以给我推荐一下嘛。

之前尝试过让rl自动去学习语音识别的对齐问题，感觉如何定义action和reward，尤其是reward function存在着困难。目前对CTC这个概率思想理解地不是很深入，有待努力。

yuwu94
关注
专栏目录
【深度学习】最强算法之：深度Q网络（DQN）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
04-08 4223
深度学习之不得不会算法：深度Q网络
DQN(Deep QNetwork) 原理与代码实例讲解
最新发布
程序员光剑
08-07 841
DQN(Deep Q-Network) - 原理与代码实例讲解 1. 背景介绍 1.1 强化学习概述 强化学习(Reinforcement Learning, RL)是机器学习的一个重要分支,它主要研究如何让智能体(
什么是 DQN
weixin_30337251的博客
11-07 535
粉红色：不会。 黄色：重点。 1.为什么要使用神经网络　　 我们使用表格来存储每一个状态 state, 和在这个 state 每个行为 action 所拥有的 Q 值. 而当今问题是在太复杂, 状态可以多到比天上的星星还多(比如下围棋). 如果全用表格来存储它们, 恐怕我们的计算机有再大的内存都不够, 而且每次在这么大的表格中搜索对应的状态也是一件很耗时的事. 不过, 在机器学习中, 有一种...
DQN
Asuzer的博客
04-14 6008
DQN 算法分析： 我们的环境是确定性的，所以为了简单起见，这里给出的所有方程也是确定性地制定的。 在强化学习文献中，他们也将对环境随机转换产生预估。我们的目标是训练一个策略来最大化回报Rt0=∑∞t=t0γt−t0rtR_{t_0} = \sum_{t=t_0}^{\infty} \gamma^{t - t_0} r_t, γ\gamma是折扣，是00到11之间的一个常数，用来保证和是收敛的。它
dqn
war3gu的博客
05-28 3693
DL与RL结合的问题 DL需要大量带标签的样本进行监督学习；RL只有reward返回值，而且伴随着噪声，延迟（过了几十毫秒才返回），稀疏（很多State的reward是0）等问题； DL的样本独立；RL前后state状态相关； DL目标分布固定；RL的分布一直变化，比如你玩一个游戏，一个关卡和下一个关卡的状态分布是不同的，所以训练好了前一个关卡，下一个关卡又要重新训练； 过往的研究表明，使用非线...
DQN从入门到放弃学习总结（2）
Maggie_zhangxin的博客
08-14 3758
1、动作价值函数： 每个状态对应多种动作，我们考率在某个状态下执行不同动作所获得的价值，通过其大小，便可选择价值最大的来执行。Action-Value function：。同样，也是用reward来表示，但是此处reward是执行动作以后获得的，之前state对应的reward则是多种动作对应的reward的期望。 动作-价值函数表示如下： 此处包含策略，即在策略下的动作价值。因
dqn系列梳理_讲人话系列——DQN初探之2048
weixin_39915267的博客
12-28 346
概述强化学习也火了好久，最近才有空来充充电。老实说，最开始强化学习的知识点还挺多的，看了好久也没太弄清楚几个算法的关系，所以本着实践出真知的想法，找个案例做下。2048小游戏感觉本身复杂度还可以，又是个model-base的模型，检查起来比较方便，并且可以简化到2x2,3x3，所以感觉是个很不错的demo案例。顺便学习下传统的DP那一套东西，所以也做了一些很简单的实验来巩固下知识。本文还是会参杂很...
GAN-DQN
weixin_41168254的博客
05-21 1297
GAN-DQN 本期介绍一项来自麦吉尔大学的有趣工作，它拓展了分布强化学习在深度学习框架下的应用，提出了一个十分有趣的深度强化学习框架：GAN+DQN。文章验表明，GAN-DQN对于高度复杂的强化学习任务尤其有效，在最终控制效果以及减小回报值方差方面都有长足的改进。在这里先放出结果图供诸君一览，领略一下GAN-DQN的优势： 从结果上看，可知GAN-DQN在收敛速度上并没有优势，甚至有着一些劣势...
DQN从入门到放弃5 深度解读DQN算法
qq_44906416的博客
04-15 753
DQN从入门到放弃5 深度解读DQN算法
各种DQN
m0_37600149的博客
11-28 3435
Q-learning　　　DQN论文：Human-level control through deep reinforcement learning DQN其实就是将深度学习与Q-learning结合起来了，建立了卷积神经网络来估计Q值。 　　　　 　　建立了Q network,Q target network(Q̂ \hat Q)两个网络，对每一个episode,t时刻时，对于状态sts_t
深度强化学习介绍-深度 Q 网络 （DQN） 算法
gongdiwudu的专栏
08-27 5808
深度强化学习的起源是纯粹的强化学习，其中问题通常被框定为马尔可夫决策过程（MDP）。MDP 由一组状态 S 和操作 A 组成。状态之间的转换使用转移概率 P、奖励 R 和贴现因子 gamma 执行。概率转换P（系统动力学）反映了从一个状态到另一个状态的不同转换和奖励发生的次数，其中顺序状态和奖励仅取决于在前一个时间步采取的状态和操作。
【强化学习】常用算法之一 “DQN”
Code_and516的博客
06-29 1082
DQN算法是深度学习领域首次广泛应用于强化学习的算法模型之一。它于2013年由DeepMind公司的研究团队提出，通过将深度神经网络与经典的强化学习算法Q-learning结合，实现了对高维、连续状态空间的处理，具备了学习与规划的能力。本文对DQN算法进行了详细的讲解，包括发展史、算法公式和原理、功能、示例代码以及如何使用。DQN算法通过结合深度学习和Q-learning算法，实现了对高维、连续状态空间的处理，具备了学习和规划的能力。
DQN：深度Q-网络
weixin_49346755的博客
04-21 5499
基本概念 DQN DQN全名叫Deep Q-Leaning Network，DQN算法的基本思路来源于Q-Learning，不同于Q-learning，DQN的Q值不是直接通过状态值s和动作a来计算的，而是通过神经网络来计算的。 DQN的输入是状态s对应的状态向量ϕ\phiϕ(s)，输出是所有动作在该状态下的动作价值函数Q。 DQN使用经验回放将数据进行保存，比如说个体在状态StS_tSt​执行动作AtA_tAt​得到了RtR_tRt​的奖励，然后状态转移到了St+1S_{t+1}St+1​，则经验池就会将
DQN(基本概念和进阶技巧）
qq_44898314的博客
07-24 3214
与神经网络技术，并采用了目标网络和经历回放的方法进行网络的训练。在Q-learning中，使用表格来存储每个状态s下采取动作a获得的奖励，即状态-动作值函数Q（s,a）。，但是在较为复杂的任务上，会使用卷积神经网络来拟合从图像来拟合从图像到价值函数的映射。DQN只能处理有限动作值，通常用于处理离散动作空间的任务。其中，s,a分别是状态s和动作a的向量表示；DQN算法的核心是维护Q函数并使用进行决策。的函数，如神经网络，输出一个实数，称为。下的动作价值函数，每次到达一个状态。之后，遍历整个动作空间，使用让。.
dqn实现小游戏代码讲解
09-11
DQN（Deep Q-Network）是一种深度强化学习算法，用于解决强化学习问题，特别是在小游戏等环境中。下面是一个简单的DQN实现小游戏的代码讲解。 首先，我们需要导入相应的库： ```python import random import numpy as np from collections import deque from keras.models import Sequential from keras.layers import Dense from keras.optimizers import Adam ``` 然后，我们定义一个类来实现DQN算法： ```python class DQNAgent: def __init__(self, state_size, action_size): self.state_size = state_size self.action_size = action_size self.memory = deque(maxlen=2000) self.gamma = 0.95 # discount rate self.epsilon = 1.0 # exploration rate self.epsilon_decay = 0.995 self.epsilon_min = 0.01 self.learning_rate = 0.001 self.model = self._build_model() def _build_model(self): model = Sequential() model.add(Dense(24, input_dim=self.state_size, activation='relu')) model.add(Dense(24, activation='relu')) model.add(Dense(self.action_size, activation='linear')) model.compile(loss='mse', optimizer=Adam(lr=self.learning_rate)) return model def remember(self, state, action, reward, next_state, done): self.memory.append((state, action, reward, next_state, done)) def act(self, state): if np.random.rand() <= self.epsilon: return random.randrange(self.action_size) act_values = self.model.predict(state) return np.argmax(act_values[0]) def replay(self, batch_size): minibatch = random.sample(self.memory, batch_size) for state, action, reward, next_state, done in minibatch: target = reward if not done: target = reward + self.gamma * np.amax(self.model.predict(next_state)[0]) target_f = self.model.predict(state) target_f[0][action] = target self.model.fit(state, target_f, epochs=1, verbose=0) if self.epsilon > self.epsilon_min: self.epsilon *= self.epsilon_decay ``` 在上述代码中，我们定义了一个DQNAgent类，它包含了DQN算法的各种功能。主要有以下几个方法： - \_\_init\_\_：初始化方法，设置一些参数，建立模型。 - \_build_model：构建神经网络模型。 - remember：将观察到的状态、动作、奖励、下一个状态和完成标志添加到记忆中。 - act：根据当前状态选择一个动作。 - replay：从记忆中随机采样一批数据并进行训练。 接下来，我们定义一个小游戏环境来测试我们的DQN算法： ```python class Game: def __init__(self): self.state_size = 4 self.action_size = 2 def get_state(self): # 返回当前状态 pass def take_action(self, action): # 执行动作并返回奖励、下一个状态和完成标志 pass def is_done(self): # 判断游戏是否结束 pass ``` 在Game类中，我们定义了一些游戏相关的方法，包括获取当前状态、执行动作并返回奖励和下一个状态、判断游戏是否结束等。 最后，我们可以使用以上定义的DQNAgent和Game类来训练和测试我们的DQN模型： ```python state_size = 4 action_size = 2 batch_size = 32 episodes = 1000 game = Game() agent = DQNAgent(state_size, action_size) for episode in range(episodes): state = game.get_state() for time in range(500): action = agent.act(state) reward, next_state, done = game.take_action(action) agent.remember(state, action, reward, next_state, done) state = next_state if done: break if len(agent.memory) > batch_size: agent.replay(batch_size) ``` 上述代码中，我们定义了一定数量的训练轮数（episodes），每轮训练将当前状态传递给DQNAgent进行动作选择并执行，然后将结果添加到记忆中，并进行一定数量的回放训练。训练完成后，我们可以使用训练好的模型进行测试。 这就是一个简单的DQN实现小游戏的代码讲解。希望对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值