强化学习的一些简单的认知

最新推荐文章于 2024-09-20 08:55:14 发布
最新推荐文章于 2024-09-20 08:55:14 发布
阅读量328 收藏
点赞数 1
分类专栏： 强化学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43255962/article/details/103594569
版权

强化学习是机器学习的一个重要研究方向，强化学习就是让机器人和环境进行交互，环境通过给机器的每一个动作打分，让机器人根据每一个动作的分数，进行重复的尝试，学习，累计经验。目的是通过和环境的交互找到一组状态动作对的序列（机器人在此序列上累计分数最高）。
强化学习的基本分类

Model-free 和 Model-based
Model-freeModel-based
无模型的就是不理解环境有模型的就是理解环境

Moder-free就是机器人不知道下一步采取那个动作，也不知道才会那个动作会反馈怎么的分数，只能根据具体不断低反馈进行学习；而Model-based是机器人可以根据模型预判下一步采取那个动作可以得到较高的分数，而不用通过不断的尝试进行学习。

基于概率 和 基于价值
基于概率（policy-based）基于价值（value-based）
每个动作对应一个概率（通过概率选取当前状态下的动作）每个动作对应一个价值 （选取当前状态下下对应最大价值的动作）
连续的动作离散的动作

基于概率的强化学习是机器人通过概率选取当前状态下的动作，不一定是选取最高概率对应的动作，只是最大概率对应的动作选取到的概率最大，对应的RL算法有 Policy Gradients 等；基于价值的的强化学习是机器人直接选取当前状态对应最大值对应的动作，对应的RL算法有 Q learning, Sarsa 等。最为厉害的有两个模型组合的算法 Actor-Critic, actor 会基于概率做出动作, 而 critic 会对做出的动作给出动作的价值, 这样就在原有的 policy gradients 上加速了学习过程。

回合更新 和 单步更新
回合更新（Monte-carlo update）单步更新（Temporal-Difference update）
机器人从开始到停止条件结束的一个回合后进行更新上一回合每个动作对应的概率或者价值机器人每采取一个动作结束到达下一个状态后，进行更新一个每个动作对应的概率或者价值

在这里插入图片描述
强化学习的回合更新单步更新可以就像游戏中，如果我从一游戏开始到结束这一个回合结束后，更新回合中对应的行为准则，这就是回合更新；如果在游戏中没进行一步，就更新上一步的行为准则就是单步更新。

再来说说方法, Monte-carlo learning 和基础版的 policy gradients 等 都是回合更新制, Qlearning, Sarsa, 升级版的 policy gradients 等都是单步更新制. 因为单步更新更有效率, 所以现在大多方法都是基于单步更新. 比如有的强化学习问题并不属于回合问题.

在线学习 和 离线学习
在线学习 （on-policy）离线学习 (off-policy)
机器人的策略是通过实时采样训练策略机器训练模型的训练集可以是已经采集好的数据，也可以是实时采样的数据

在线学习和离线学习, 所谓在线学习, 就是指我必须本人在场, 并且一定是本人边玩边学习, 而离线学习是你可以选择自己玩, 也可以选择看着别人玩, 通过看别人玩来学习别人的行为准则, 离线学习 同样是从过往的经验中学习, 但是这些过往的经历没必要是自己的经历, 任何人的经历都能被学习. 或者我也不必要边玩边学习, 我可以白天先存储下来玩耍时的记忆, 然后晚上通过离线学习来学习白天的记忆.

最典型的在线学习就是 Sarsa 了, 还有一种优化 Sarsa 的算法, 叫做 Sarsa lambda, 最典型的离线学习就是 Q learning, 后来人也根据离线学习的属性, 开发了更强大的算法, 比如让计算机学会玩电动的 Deep-Q-Network.

具体强化学习算法简单介绍：

Q-Learning

Q-Learning算法是首先会建一张Q表格，表格的大小是状态数)乘以每个状态下对应的动作数，然后通过每执行一个动作进行一此Q(s,a)的更新（更新对应Q表格中的值）。
具体的Q-Learning算法如下：
在这里插入图片描述
上图中的Q真实值为
在这里插入图片描述
其中R是在状态s下采取动作a获得的奖励值，gamma 是对未来 reward 的衰减值，maxa’Q(s’,a’),是下一状态采取的最大Q值，对应的下一个状态是s’，最大Q值对应的动作是a‘。
大部分的强化学习都是通过Qlearning算法改进由来的。

快乐地笑
关注
专栏目录
如何使用Python构建强化学习环境？
AI天才研究院
08-15 1321
强化学习（Reinforcement Learning，简称RL）作为人工智能和机器学习的重要分支，近年来在各个领域都取得了显著的成果。从围棋到机器人控制，从自动驾驶到推荐系统，强化学习的应用范围正在不断扩大。然而，要想成功应用强化学习算法，首先需要构建一个合适的环境，这个环境能够准确模拟实际问题，并为智能体提供学习和决策的平台。自定义环境通常需要实现与OpenAI Gym兼容的接口，以便与现有的强化学习算法和框架集成。状态空间和动作空间的定义奖励函数的设计环境动态的实现特定问题的约束和规则。
深度强化学习(Deep Reinforcement Learning) 原理与代码实例讲解
AI天才研究院
09-06 681
深度强化学习(Deep Reinforcement Learning) - 原理与代码实例讲解 关键词： 强化学习（Reinforcement Learning） 深度学习（Deep Learning）
强化学习的简单介绍
qq_44852767的博客
05-24 460
强化学习 学习资源 强化学习是机器学习的三大分支之一，与其他两个分支不同的是，监督学习与无监督学习专注于预测(辅助医生诊断)，而强化学习专注于决策(直接提出治疗方案)。换句话说，强化学习是让AI做完一切事情，而不只是一个辅助！ 学习强化学习的过程就是强化学习，因为要不断试错。 引言 序列决策 只要是序列决策问题，都可以用强化学习来解决。如果是单步决策问题，那么和预测问题没什么区别，可直接使用监督学习或无监督学习解决。 定义 智能体通过与环境进行交互学习来实现目标的计算方法 目标 智能体找到一个最优策略来使得
三分钟简易入门“强化学习 (Reinforcement Learning)”
qq_36573015的博客
06-13 1632
本文包括以下内容： 概述 详介 总结 一、概述 强化学习（Reinforcement Learning，RL）是机器学习的三个大类（有监督学习、无监督学习和强化学习）之一，其基本思想是通过最大化智能体(agent)从环境中获得的累计奖赏值，以学习到完成目标的最优策略，因此RL方法更加侧重于学习解决问题的策略[1]。简单地说，强化学习就是环境状态到行为映射的学习技术，他把这种从环境到行为的映射关系当作黑箱，不具体地探索黑箱内部构造，而是通过行为的正确程度，不断地纠正实施行为的策略。因而强化学习适用于高度非
强化学习-通俗理解。
changdejie的专栏
08-02 1965
最近在学习强化学习，看了一些文章和课程，总结如下。   强化学习的定义。         假定一个智能体(agent),在一个未知的环境中(当前状态state)，采取了一个行动(action),然后收获了一个回报(return)，并进入了下一个状态。最终目的是求解一个策略让 agent的回报最大化。   强化学习求解算法，一般采用马尔可夫决策过程(MPD)，定义如下。     一个...
认知与强化学习
人机与认知实验室
03-14 981
许多事物表面上看是非逻辑的问题，如以弱胜强的许多案例，其实从实质上看是逻辑问题，这些以弱胜强里的弱是相对的，在局部却经常以强胜弱，所以非逻辑里包含着许多逻辑关系。...
Sarsa的进阶--Sarsa(lambda)
shixiongda的博客
08-21 2319
Sarsa-lambda 今天我们会来说说强化学习中基于 Sarsa 的一种提速方法, 叫做 Sarsa-lambda. Sarsa(n) Sarsa的算法是一种在线学习法, on-policy. 但是这个 lambda 到底是什么. 其实吧, Sarsa 是一种单步更新法, 在环境中每走一步, 更新一次自己的行为准则, 我们可以在这样的 Sarsa 后面打一个括号, 说他是 Sarsa...
一种基于深度强化学习的通信抗干扰智能决策方法.pdf
08-18
基于深度强化学习的通信抗干扰智能决策方法是一种创新的通信抗干扰技术，它结合了深度学习和强化学习的优点，在没有先验干扰信息的情况下，能够智能地选择通信频率并躲避干扰。该方法主要通过以下几点来实现其智能...
强化学习与环境不确定_不确定性意识强化学习
weixin_26632369的博客
07-18 2247
强化学习与环境不确定Model-based Reinforcement Learning (RL) gets most of its favour from sample efficiency. It’s generous and undemanding on the amount desired as input, with a cap on what we should expect the ...
Python机器学习实战：强化学习(Reinforcement Learning)基础介绍
最新发布
AI架构设计之禅
09-20 877
Python机器学习实战：强化学习(Reinforcement Learning)基础介绍 关键词：强化学习，机器学习，Q-learning，SARSA，深度强化学习，深度Q网络(DQN)，策略梯度，环境交互
强化学习:带起始探索的每次访问同策回合更新算法求解机器人找金币问题
赛亚茂的博客
08-02 297
用同策回合更新算法求解迷宫寻路问题
莫烦强化学习视频笔记：第一节 1.2 强化学习方法汇总
sophicchen的专栏
10-29 344
首先是通过是否需要理解环境（环境给我们什么就是什么），能够分为无模型的强化学习方法和基于模型的强化学习方法。 假设这里有一个机器人和一个星球X。无模型的强化学习方法（Model-Free）：不需要理解环境，机器人对星球X一无所知，机器人也不知道星球X对于他们的行为对做出怎样的反馈。举个例子，机器人决定扔了一颗原子弹要真实的世界（星球X），结果把自己也炸死了。基于模型的强化学习方法（Model-Based） ：机器人通过过往的经验先理解真实的世界是如何的，建立一个模型模拟真实世界的反馈（这里如何获得的模型..
强化学习笔记(2)-异策回合更新算法
08-29 621
在前一篇博客中，我总结了强化学习的同策回合更新的方法，并用这种方法来学习21点游戏的最优策略。这里我将总结一下我学习到的异策回合更新的方法。 同策学习和异策学习的区别在于，同策是边决策边学习，学习者同时也是决策者。异策则是根据之前的历史来学习，学习者和决策者可以不同。以围棋AI为例，如果边对弈边学习，这就是同策学习。如果通过阅读人类的历史对弈记录来学习，那么就是异策学习。 在异策学习中，历史记录中用到的策略和我们要学习的策略是不同的，所以称为异策学习。我们将要学习的策略称为目标策略，用来生成历史记录的另
强化学习笔记4：强化学习分类
qq_40206371的博客
07-29 5950
1 model-free & model-based 我们可以将所有强化学习的方法分为model-free和model-based，即理不理解所处环境。 如果我们不尝试去理解环境, 环境给了我们什么就是什么.。我们就把这种方法叫做 model-free, 这里的 model 就是用模型来表示环境。 如果一种强化学习算法理解了环境，那么这种强化学习算法就学会了用一个模型来代表环境, 这种强化学习就是 model-based 方法。相比于mod......
强化学习算法学习汇总笔记 (一) — Q-learning、Sarsa、DQN、Policy Gradients
Hansry的博客
06-25 4911
一. 强化学习的分类 1.Model-free 和 Model-based Model-free 即机器人不知道外界环境信息，只能在机器人执行每一步动作后从环境中得到反馈然后去学习，只能按部就班，一步一步等待真实世界的反馈，再根据反馈采取下一步行动。诸如Q Learning， Sarsa，Policy Gradients等算法。 Model-based 指机器人对环境有一定的了解，可以对环境...
深度强化学习（二）强化学习算法的分类
daydayjump的博客
06-17 3万+
对于强化学习的分类，主要参考了莫烦大佬的视频和OpenAI的Spinning Up的介绍。 一、Model-Free和Model-Based两大类 上图是Spinning Up中的分类图。对于model的理解就是强化学习中的环境。根据是否去学习环境来进行分类。根据转移概率是否已知进行分类的。 Model-free就是不去学习和理解环境，环境给出什么信息就是什么信息，常见的方法有polic...
强化学习 —— 资源清单
01-06 3063
模型从一无所知，到成为该领域的专业人士，又凭借其强大的计算能力，远远地甩开人类该领域的顶尖大师，模型能够学习规则和行为在于其背后有一个“好老师”，这位老师的使命不是上课，告知机器该怎么做，而是对机器的行为（policy network）进行打分和评判（value network），这样机器会记录如下： 高分：努力取得高分； 低分：竭力避免低分； 这样才能使机器的每一步选择都比较理想；
强化学习(一)：简介——什么是强化学习？
热门推荐
Woody的博客
01-22 11万+
本文将介绍强化学习的基本含义，了解什么是强化学习、强化学习的概念与基本框架以及强化学习中常见的问题类型。 什么是强化学习？ 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 以上是百度百科中对强化学习的描述，从这样一句话中我们能捕捉到几点信息： 强化学习是一种机器学习方法 强化学习关注智能体与环境之间的交互 强化学..
一文了解强化学习
qunnie_yi的博客
06-12 6558
作者：不会停的蜗牛 CSDN AI专栏作家 强化学习非常重要，原因不只在于它可以用来玩游戏，更在于其在制造业、库存、电商、广告、推荐、金融、医疗等与我们生活息息相关的领域也有很好的应用。本文结构： 定义 和监督式学习, 非监督式学习的区别 主要算法和类别 应用举例 1. 定义强化学习是机器学习的一个重要分支，是多学科多领域交叉的一个产物，它的本质是解决 decision making 问题，...
强化学习的认知无线电功率控制代码
08-10
### 回答1： 以下是一个简单的认知无线电功率控制的强化学习代码，使用的是 Python 和 TensorFlow。 首先，我们需要定义状态空间、动作空间和奖励函数。在这个例子中，状态空间为当前信道状态和历史功率控制决策，动作空间为连续的功率控制值。奖励函数为最大化信道容量。 ```python import numpy as np import tensorflow as tf # 定义状态空间 STATE_DIM = 2 # 定义动作空间 ACTION_DIM = 1 # 定义奖励函数 def reward_func(state, action): # 计算信道容量 capacity = ... return capacity ``` 接下来，我们使用 TensorFlow 定义一个神经网络，来估计动作值函数 Q(s,a)。网络的输入为状态 s 和动作 a，输出为 Q 值。在这个例子中，我们使用了一个简单的全连接神经网络。 ```python # 定义神经网络 class QNetwork: def __init__(self, state_dim, action_dim, learning_rate): self.state_input = tf.placeholder(tf.float32, [None, state_dim]) self.action_input = tf.placeholder(tf.float32, [None, action_dim]) self.target_input = tf.placeholder(tf.float32, [None, 1]) x = tf.concat([self.state_input, self.action_input], axis=1) x = tf.layers.dense(x, 64, activation=tf.nn.relu) x = tf.layers.dense(x, 64, activation=tf.nn.relu) self.q_value = tf.layers.dense(x, 1) self.loss = tf.reduce_mean(tf.square(self.target_input - self.q_value)) self.optimizer = tf.train.AdamOptimizer(learning_rate).minimize(self.loss) ``` 然后，我们使用深度 Q 学习算法来训练神经网络。算法的核心是使用贝尔曼方程更新动作值函数，从而最大化累计奖励。 ```python # 定义深度 Q 学习算法 class DQN: def __init__(self, state_dim, action_dim, learning_rate, discount_factor, epsilon): self.q_network = QNetwork(state_dim, action_dim, learning_rate) self.discount_factor = discount_factor self.epsilon = epsilon def act(self, state): # 使用 ε-贪心策略选择动作 if np.random.rand() < self.epsilon: return np.random.uniform(low=-30, high=30, size=(1,)) else: return self.q_network.q_value.eval(feed_dict={self.q_network.state_input: [state]}, session=tf.get_default_session())[0] def train(self, state, action, reward, next_state, done): # 使用贝尔曼方程更新动作值函数 target = reward if not done: target += self.discount_factor * np.max(self.q_network.q_value.eval( feed_dict={self.q_network.state_input: [next_state]}, session=tf.get_default_session())) self.q_network.optimizer.run(feed_dict={ self.q_network.state_input: [state], self.q_network.action_input: [action], self.q_network.target_input: [target] }) ``` 最后，我们使用定义好的状态空间、动作空间、奖励函数和深度 Q 学习算法来实现强化学习的认知无线电功率控制。 ```python # 定义主程序 def main(): # 初始化深度 Q 学习算法 dqn = DQN(state_dim=STATE_DIM, action_dim=ACTION_DIM, learning_rate=0.001, discount_factor=0.9, epsilon=0.1) # 训练模型 for episode in range(1000): state = ... total_reward = 0 done = False while not done: action = dqn.act(state) next_state = ... reward = reward_func(state, action) dqn.train(state, action, reward, next_state, done) state = next_state total_reward += reward print('Episode %d, Total Reward: %d' % (episode, total_reward)) # 使用训练好的模型进行预测 state = ... action = dqn.act(state) print('Power Control Decision: %f' % action) ``` 这是一个简单的强化学习的认知无线电功率控制代码示例。在实际应用中，还需要考虑更多的因素，比如信道的时变性、多用户干扰等。 ### 回答2： 强化学习的认知无线电功率控制代码用于提高无线电系统的性能和效率，以实现更好的功率管理和频谱利用。以下是一个简单的认知无线电功率控制代码示例： 1. 导入所需的库： ```python import numpy as np import random ``` 2. 初始化环境的状态空间、动作空间和Q表： ```python state_space = [0, 1, 2, 3, 4] # 状态空间 action_space = [0, 1] # 动作空间。0表示减小功率，1表示增大功率 # 初始化Q表，Q表的维度为状态空间和动作空间的大小 Q_table = np.zeros((len(state_space), len(action_space))) ``` 3. 定义强化学习的超参数： ```python alpha = 0.5 # 学习率 gamma = 0.5 # 折扣因子 epsilon = 0.1 # 探索率 num_episodes = 1000 # 迭代次数 # 定义奖励函数 rewards = [] ``` 4. 定义强化学习的训练过程： ```python for episode in range(num_episodes): state = random.choice(state_space) # 随机选择初始状态 done = False # 判断是否达到终止状态 while not done: if random.uniform(0, 1) < epsilon: action = random.choice(action_space) # 随机选择动作 else: action = np.argmax(Q_table[state]) # 根据Q值选择动作 # 执行动作，观察下一个状态和奖励 next_state, reward, done = execute_action(state, action, ...) # 更新Q值 Q_table[state, action] = Q_table[state, action] + alpha * (reward + gamma * np.max(Q_table[next_state]) - Q_table[state, action]) state = next_state # 更新状态 rewards.append(sum(rewards)) # 记录每个回合的总奖励 ``` 5. 定义执行动作函数和其他相关函数： ```python def execute_action(state, action, ...): # 执行动作的具体操作，包括调整功率、检测频谱利用等 # 返回执行动作后的下一个状态、奖励和是否达到终止状态 ... return next_state, reward, done def main(): # 主函数，用于调用训练过程和其他操作 ... if __name__ == "__main__": main() ``` 这只是一个简单的示例，实际的认知无线电功率控制代码中需要根据具体场景和需求进行进一步的优化和细化。强化学习的认知无线电功率控制代码可以通过与环境互动，不断地通过优化Q值来自主学习和提升性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值