关于DQN一些小想法

基于目前对RL这方面的了解,主要分为基于三个方面: value function, policy 以及 model

其中目前最广泛的为value function的思路,也就是所谓的q-learning,Deep Q Network 与深度神经网络的结合。


目前主要看了两篇DQN 在NLP 和Object Detection方面的两篇应用的文章深有感触

1. Improving Information Extraction by Acquiring External Evidence with Reinforcement Learning

2. Active Object Localization with Deep Reinforcement Learning


我的思考是,DNQ中每一条记录(s,a,r,s') 其实包含三个方面:

1. 如何定义state

2. 如何确定actions的范围

3. 如何定义reward的规则


例如在论文1中,例如rl去学习如何更好地从文章中的精确地提取entity的信息,其中最重要地是学习去提取和当前事件相同的其他表达方式。

1. state的定义: 也就是DQN的输入,在论文中论文的state由几个方面组成,包括当前entity的置信度,和扩充选择的entity的置信度,他们的matches以及content word的tf-idf。

2. action的定义:论文中有两种actions 也就有两个networks。 每个actions的选择范围是固定的。文中的两个actions:reconcile和 new entity selection(query),其中reconcile定义为只有四种,接受某个,接受所有,拒绝全部以及停止。 query则是利用其他方式定义好的k(常数)个模板。

3. reward的定义:计算一个文章中所有entity的acc(当前)-acc(之前),没有采用绝对值,所有这里存在着惩罚机制。

同样地,论文2也是巧妙地定义了这个方面。


目前,我还没有看过rl在语音识别方面应用的paper,如果您看过比较好的,可以给我推荐一下嘛。

之前尝试过让rl自动去学习语音识别的对齐问题,感觉如何定义action和reward,尤其是reward function存在着困难。目前对CTC这个概率思想理解地不是很深入,有待努力。

DQN(Deep Q-Network)是一种深度强化学习算法,用于解决强化学习问题,特别是在小游戏等环境中。下面是一个简单的DQN实现小游戏的代码讲解。 首先,我们需要导入相应的库: ```python import random import numpy as np from collections import deque from keras.models import Sequential from keras.layers import Dense from keras.optimizers import Adam ``` 然后,我们定义一个类来实现DQN算法: ```python class DQNAgent: def __init__(self, state_size, action_size): self.state_size = state_size self.action_size = action_size self.memory = deque(maxlen=2000) self.gamma = 0.95 # discount rate self.epsilon = 1.0 # exploration rate self.epsilon_decay = 0.995 self.epsilon_min = 0.01 self.learning_rate = 0.001 self.model = self._build_model() def _build_model(self): model = Sequential() model.add(Dense(24, input_dim=self.state_size, activation='relu')) model.add(Dense(24, activation='relu')) model.add(Dense(self.action_size, activation='linear')) model.compile(loss='mse', optimizer=Adam(lr=self.learning_rate)) return model def remember(self, state, action, reward, next_state, done): self.memory.append((state, action, reward, next_state, done)) def act(self, state): if np.random.rand() <= self.epsilon: return random.randrange(self.action_size) act_values = self.model.predict(state) return np.argmax(act_values[0]) def replay(self, batch_size): minibatch = random.sample(self.memory, batch_size) for state, action, reward, next_state, done in minibatch: target = reward if not done: target = reward + self.gamma * np.amax(self.model.predict(next_state)[0]) target_f = self.model.predict(state) target_f[0][action] = target self.model.fit(state, target_f, epochs=1, verbose=0) if self.epsilon > self.epsilon_min: self.epsilon *= self.epsilon_decay ``` 在上述代码中,我们定义了一个DQNAgent类,它包含了DQN算法的各种功能。主要有以下几个方法: - \_\_init\_\_:初始化方法,设置一些参数,建立模型。 - \_build_model:构建神经网络模型。 - remember:将观察到的状态、动作、奖励、下一个状态和完成标志添加到记忆中。 - act:根据当前状态选择一个动作。 - replay:从记忆中随机采样一批数据并进行训练。 接下来,我们定义一个小游戏环境来测试我们的DQN算法: ```python class Game: def __init__(self): self.state_size = 4 self.action_size = 2 def get_state(self): # 返回当前状态 pass def take_action(self, action): # 执行动作并返回奖励、下一个状态和完成标志 pass def is_done(self): # 判断游戏是否结束 pass ``` 在Game类中,我们定义了一些游戏相关的方法,包括获取当前状态、执行动作并返回奖励和下一个状态、判断游戏是否结束等。 最后,我们可以使用以上定义的DQNAgent和Game类来训练和测试我们的DQN模型: ```python state_size = 4 action_size = 2 batch_size = 32 episodes = 1000 game = Game() agent = DQNAgent(state_size, action_size) for episode in range(episodes): state = game.get_state() for time in range(500): action = agent.act(state) reward, next_state, done = game.take_action(action) agent.remember(state, action, reward, next_state, done) state = next_state if done: break if len(agent.memory) > batch_size: agent.replay(batch_size) ``` 上述代码中,我们定义了一定数量的训练轮数(episodes),每轮训练将当前状态传递给DQNAgent进行动作选择并执行,然后将结果添加到记忆中,并进行一定数量的回放训练。训练完成后,我们可以使用训练好的模型进行测试。 这就是一个简单的DQN实现小游戏的代码讲解。希望对你有所帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值