CNN笔记（CS231N）——强化学习（Reinforcement Learning）

最新推荐文章于 2023-12-28 01:17:47 发布
最新推荐文章于 2023-12-28 01:17:47 发布
阅读量2.8k 收藏 13
点赞数 3
分类专栏： CNN 文章标签： 强化学习 策略梯度 Q-learning Q价值函数 Actor-Critic
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanwenkang/article/details/87876872
版权

强化学习

我们之前讲了监督学习跟无监督学习，这一讲我们采用一种全新的思路来解决问题叫做强化学习。强化学习的目标是让代理学会采取动作来最大化奖励函数

下面是强化学习的一些例子

我们怎么样对这个问题进行建模呢？我们可以把这个问题看做一个马尔科夫链

目标函数是从头到尾的奖励加权相加

对于π是固定的，那么怎么解决随机性的问题呢？方案就是采用数学期望来平均这些随机性

由于我们可以定义价值函数，来代表特定状态的的好坏，以及Q价值函数来代表状态-动作对的好坏

对于最优的Q-value，它满足Bellman等式

我们可以尝试用Bellman等式来解这个优化问题但是问题是由于状态空间太大，我们无法完全遍历整个状态空间来求最大值，因此我们的想法是对Q进行逼近

Q是一个非常复杂的函数，那么我们需要计算Q的近似值，自然而然会想到用神经网络

这个网络的损失函数就是输出值跟Q值平方差的期望

这样我们就能训练出一个网路，只通过一次前向传播就能计算出Q值了

但是这样有个问题，那就是这些样本具有很大的相关性，某一帧会参与今后四个样本的训练，存在冗余性，为了解决这个问题我们可以采用经验回放的方法解决

以下是具体算法过程

Q-learning的问题就是Q函数非常复杂，就算利用神经网络也很难获得一个很好的拟合值，那么我们想的就是我们是否能直接学习一个策略，而不是学习Q函数

既然要对策略进行优化，那么我们就想对策略求梯度，采用梯度上升来最大化价值函数的值

这种方法叫做强化学习，下面是对策略求导的过程

其中p跟转移概率有关，那我们能否在不知道转移概率的情况下求出梯度值呢

我们的直觉就是当奖励很大的时候提高这种动作出现的概率；很小的时候降低这种动作的出现概率。这里的价值函数相当于是轨迹中所有动作的价值函数的平均，这种方法很容易导致过拟合，那么我们能做什么改进呢？

主要有以下两种方法

原始的价值函数并不是非常必要的，因为如果我们的价值函数对于每个状态都应该有一个期望值，我们希望对比的是当前值与期望值的差，如果当前值在我们期望以下，那我们希望减小动作出现的概率；如果当前值在期望值以上，那我们希望增大动作出现的概率。因此我们引入基线的概念，原本的价值函数就变为了价值函数与基线的差

一个选择基线的简单方法就是把之前出现过的所有轨迹的奖励函数平均起来

如果我们深入思考当前奖励与基线，那我们自然就会想到当前奖励是状态-动作对的奖励函数，也就是我们之前提到的Q价值函数；基线是状态的奖励函数，也就是价值函数。

这样就将策略梯度与之前的Q价值函数结合在一起了。我们只需要不断迭代训练Q价值函数与策略就可以了

以下是算法的伪代码

我们看一个强化学习在图像识别中的例子。我们输入一副含数字的图像，输入网络的是一个个小的图块，动作是下一个图块的坐标，奖励函数是最后的分类结果正确与否

我们利用强化学习结合RNN就能得到最终的结果，这种方法的好处是我们可以重点关注图像的某些特殊区域来获取局部信息特征，除此以外我们每次读入的图块都很小，减小了计算量

另一个例子就是AlphaGo，AlphaGo采用的方法中就包含了强化学习

下面是本讲的总结

 

 

Veropatrinica
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习算法Pytorch实现全家桶
06-19
pytorch框架，主要实现算法有Q-Learning，Sarsa，DQN，DQN-cnn，DoubleDQN，Hierarchical DQN，PG，A2C，SAC，PPO，DDPG，TD3等，能够满足GPU和CPU不同条件，实现模型保存，断点续训，测试结果绘图等，可在此框架魔改你的环境，相当不错。
崇志宏：强化学习和深度强化学习
05-29
深度学习在强化学习方面的应用所产生的深度强化学习取得快速发展。如何解释深度强化学习优势产生的原因是理解技术的基本方法。
强化学习 CNN几个重要的基本概念与DQN
Hikers、Wan的博客
04-22 3564
前言 最近在读一篇强化学习的论文以及代码，学到了很多新东西，特此记录下来。 CNN基本知识 Convolution：卷积 卷积核大小（filter size）为m * m卷积核（convolution kernel/convolution filter）一次移动一个卷积步长（convolution stride），在n * n图像上从左至右自上而下依次将卷积操作进行下去，最终输出大小（n-m+1）...
cs231n笔记11—强化学习
kingsure001的博客
08-22 610
强化学习：我们有一个代理，能够在其环境中采取行动，也可以因为其行动获得奖励，它的目标是学会如何行动以最大限度地获得奖励。 在强化学习中我们有一个代理和一个环境，环境赋予代理一个状态，反过来代理将采取行动，然后环境反馈一个奖励；不断重复这个过程，直到环境给出一个终端状态结束这个环节。 例如，游戏也是处理强化学习的一大类问题。 Atari游戏，目标是得到最高的分数；状态是游戏状态的原始像素，行动就是游戏的控制，例如左右上下移动，分数是每一次行动增加或减少的分数；目标就是在游戏中最大化得分。 MDP（Mark
cs231n_2018_lecture13_notes_强化学习
vahalla233的博客
03-15 216
在连接主义学习中，把算法分为三种类型，即非监督(unsupervised learning)、监督学习(supervised leaning)和强化学(reinforcement learning)。 概念： 强化学习通过 “采取动作 — 得分反馈” 的方式学习，最终目标是使得Agent通过与环境的交互获得最大的得分。强化学习不是告诉Agent如何动作，而是Agent选择一个动作用于环境，环境...
谷歌大脑用强化学习为移动设备量身定做最好最快的CNN模型
润桐专利rainpat的博客
08-11 505
AI 科技评论按：卷积神经网络（CNN）被广泛用于图像分类、人脸识别、物体检测以及其他许多任务中。然而，为移动设备设计 CNN 模型是一个有挑战性的问题，因为移动模型需要又小又快，同时还要保持足够的准确率。虽然研究人员们已经花了非常多的时间精力在移动模型的设计和改进上，做出了 MobileNet 和 MobileNetV2 这样的成果，但是人工设计高效的模型始终是很有难度的，其中有许许多多的可...
强化学习与深度,神经网络的结合随记
weixin_34087301的博客
11-15 2390
84*84*4表示一个state，4表示4帧图像。 每个像素点都有0-255种可能取值，256的84*84*4次幂表示4张图全部像素点的总共可能性取值。说明如果全部像素点都拿来做state，那Q-table就太大了。 可不可以借助神经网络来做？ 改变每个像素点的值，转换为黑白图像：0代表黑色，255代表白色。黑色是可以走的区域，白色是不可以走的区域。每4帧图像为一个state 每个位置都...
cs231n_2017_lecture14.pdf
01-24
强化学习 Reinforcement Learning Reinforcement Learning Reinforcement Learning
斯坦福cs234强化学习ppt教程reinforcement learning
10-10
斯坦福大学stanford cs234强化学习ppt教程reinforcement learning
强化学习导论中文版 增强学习导论中文版 Reinforcement learning an introduction 中文版.
06-04
6. 深度强化学习（Deep Reinforcement Learning, DRL）：随着深度学习的发展，神经网络被用于估计Q值或策略函数，形成了深度Q网络（Deep Q-Network, DQN）和策略梯度等方法，解决了高维度状态空间的问题，实现了在...
CS294深度强化学习课件（完整版）
06-06
CS294深度强化学习课件（完整版）CS294深度强化学习课件（完整版）
Solutions (Selected) Reinforcement Learning_Reinforcement_学习_强化学
10-04
强化学习（Reinforcement Learning，RL）是一种人工智能领域的机器学习方法，它着重于通过与环境的交互来学习最优策略。这个领域由一个智能体（agent）和一个环境组成，智能体通过执行动作并观察环境的反馈（即奖励...
【强化学习笔记】Reinforcement Learning Notes.pdf|Reinforcement Learning Notes.pdf
12-08
【强化学习笔记】Reinforcement Learning Notes，是和入门，逐步深入理解深度强化学习。
1 why? (强化学习 Reinforcement Learning 教学)
08-31
#1_why__(强化学习_Reinforcement_Learning_教学)
深度强化学习中深度Q网络（Q-Learning+CNN）的讲解以及在Atari游戏中的实战（超详细 附源码）
showswoller的博客
11-25 5570
深度强化学习中深度Q网络（Q-Learning+CNN）的讲解以及在Atari游戏中的实战（超详细 附源码）
深度强化学习中的神经网络部分的作用是什么？一般如何选择合适的神经网络呢？
再来一下！
10-31 992
1.值函数近似（Value Function Approximation）：神经网络可以用于近似状态值函数或动作值函数，如价值迭代算法中的值函数，或者Q-学习中的动作值函数。6.激活函数：根据问题的性质，选择合适的激活函数。在深度强化学习中，神经网络部分通常用于实现值函数近似或策略近似，以帮助智能体学习如何在一个环境中做出决策以获得最大的累积奖励。7.网络架构：可以根据问题的要求选择不同的神经网络架构，如循环神经网络（RNN）用于处理序列数据，或者深度卷积神经网络（DCNN）用于处理图像数据。
人工智障学习笔记——强化学习(5)DRL与DQN
九日王朝
03-19 2974
在普通的Q-learning中，当状态和动作空间是离散且维数不高时可使用Q-Table储存每个状态动作对的Q值，而当状态和动作空间是高维连续时，Q-Table则不再适用。通常做法是把Q-Table的更新问题变成一个函数拟合问题，相近的状态得到相近的输出动作。通过更新参数θ使Q函数逼近最优Q值：Q(s,a;θ)≈Q′(s,a)而深度神经网络可以自动提取复杂特征，因此，面对高维且连续的状态使用深度神经...
强化学习与计算机视觉：提升图像识别与分类能力
最新发布
禅与计算机程序设计艺术
12-28 1310
1.背景介绍 计算机视觉和强化学习分别是人工智能领域的两个重要分支。计算机视觉主要关注计算机对图像和视频的理解和处理，强化学习则关注智能体在环境中采取行动以获得最大化奖励的过程。近年来，随着深度学习技术的发展，计算机视觉和强化学习的研究取得了显著进展。本文将探讨如何将强化学习与计算机视觉结合，以提升图像识别和分类能力。 2.核心概念与联系 2.1计算机视觉 计算机视觉是计算机对图像和视频进...
强化学习在视觉上的应用（RL for computer Vision）
热门推荐
ikerpeng
04-09 2万+
文章 iker peng（知乎：https://www.zhihu.com/people/ikerpeng/）原创，转载请与我联系～ 深度强化学习在很多决策领域当中都取得了比较不错的结果，尤其是在游戏领域，多个游戏已经达到甚至是超过了人类水平。计算机视觉领域，必定也会尝试这种神奇的算法。然而，到目前为止我们并没有看到在这个领域当中特别成功的例子。计算机视觉任务似乎并没有像游戏那样直观...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值