斯坦福CS234增强学习——（1）简介

已于 2023-09-13 20:08:31 修改
阅读量287 收藏 2
点赞数
分类专栏： CS234增强学习 文章标签： 学习
于 2023-04-08 18:14:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43675321/article/details/130014866
版权

斯坦福CS234增强学习——（1）简介

增强学习概述

增强学习的基本要素

在这里插入图片描述
  增强学习的关键所在，尤其是第2，3点是将增强学习与其他机器学习进行区分的重要因素。如下图所示，分别对其进行了阐述。这里我们定义了policy的含义：policy是指从过去的经验到决策行为的一种映射，较为严格的形式是，给定状态下的动作分布（当已知状态后，应该采取什么样的行动）。
在这里插入图片描述
censor:审查

增强学习与其他机器学习方法的区别

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关于模仿学习

在这里插入图片描述

在不确定性下的时序决策(sequential decision making under uncertainty)

在这里插入图片描述

一些简单的例子

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

有关reward的一个小问题

在这里插入图片描述
  我们忽略学生主动学习的可能性，且认为加法更加简单，则在这种前提下，若采用上述的reward策略，则agent会给学生愈发简单的加法题来获得更多的reward，但是这显然是不对的，所以一定要恰当的选择reward。

机器教学

  机器教学的一个想法就是有两个intelligent agent且知道各自在对对方进行教学则会发生什么，下面给出一个经典的例子：
在这里插入图片描述
  图中由n个数据点，进行二分类，如果自己想找到进行分类的线，通过策略性地要求人们标记出一些点，需要logn的复杂度；如果已知由另一个agent进行教学，则O（1）复杂度即可，因为教学者会标出来+与-的边缘，从而直接确定分类的线。

关于增强学习流程图中的一些定义

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
  agent只接触了world的一部分，比如作为一个人，眼睛只能看一部分世界，永远看不到后脑勺。

马尔可夫假设

在这里插入图片描述
  （个人理解）显然两个例子都不是Markov state，因为（1）不同吃药的序列动作会导致血压的不同变化情况（2）推荐的商品会影响人们浏览商品的意图。即涉及到了历史情况，而非仅仅是当前状态。
在这里插入图片描述

完全观察马尔可夫决策过程（MDP）

在这里插入图片描述

部分观察马尔可夫决策过程（POMDP）

在这里插入图片描述
  如打扑克的过程，看不到其他人手中的牌，但是可以看到自己的牌和已经打出的牌，并据此做出决策。

时序决策过程的类型

Bandit

在这里插入图片描述

MDP和POMDP

在这里插入图片描述

World改变的特点

在这里插入图片描述
  我们可以认为只要有足够好的模型就可以将过程建立为确定性的，但是由于很难做到，我们通常将模型近似建立为随机的。

增强学习算法的组成

模型

在这里插入图片描述
  reward取期望是因为采取acttion可能到达不同的state，有一个关于state的分布，对这个分布取一个期望。

策略（policy）

在这里插入图片描述

价值（value）

在这里插入图片描述

关于RL agent

在这里插入图片描述
在这里插入图片描述

qq_43675321
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CS234 value iteration/policy iteration
learner_slc的博客
10-26 1550
CS234　Assignment#1 value iteration/policy iteration 值迭代和策略迭代，以一个FrozenLake为例子作为测试。
斯坦福CS234增强学习——（2）当你已知世界模型
最新发布
qq_43675321的博客
04-28 289
在这部分，我们假定我们的policy是确定性的，在该情况下，为了找到最优的策略，我们需要采用一定的方法，首先，我们当然可以采用枚举法，但是策略的数量是指数级别的，很难在有限时间内完成，因此，我们提出了策略迭代（Policy Iteration）：首先我们随机初始化一种policy，然后激素三其价值函数，而后进行。按照我们给出的这些定义，我们可以看到，当我们的policy给定时，马尔可夫决策过程将退化为马尔可夫奖励过程，如此一来，我们可以利用上述马尔可夫奖励过程的技术来解决马尔可夫决策过程问题。
【斯坦福新课】CS234：强化学习
深度学习技术前沿
01-17 1124
关注上方“深度学习技术前沿”，选择“星标公众号”，资源干货，第一时间送达！本文为大家带来了一份斯坦福大学的最新课程CS234——强化学习，主讲人是斯坦福大学Emma Brunskill，...
还挺好看！用命令行画思维导图；66天机器学习之旅；斯坦福CS234 强化学习课程；哈佛CS50 计算机科学导论课程；前沿论文 | ShowMeAI资讯日报
ShowMeAI研究中心
10-10 1万+
Gymnasium 强化学习算法的开发与比较、h-m-m 命令行思维导图工具、Notes 开源跨平台笔记应用、OmniEvent 事件抽取工具包、pySciSci 科学的科学分析库、66天机器学习之旅、斯坦福 CS234 强化学习课程、哈佛 CS50-CS 计算机科学导论课程、图数据增强资源列表、前沿论文…点击获取全部资讯
斯坦福cs234强化学习ppt教程reinforcement learning
10-10
斯坦福大学stanford cs234强化学习ppt教程reinforcement learning
CS234_Reinforcement-Learning:斯坦福大学CS234冬季课程2019作业
04-10
CS234_强化学习 斯坦福大学CS234冬季课程2019作业 讲课讲座可以在这里看到： 讲义可以在这里下载：
斯坦福CS231n 2017年春讲座——CNN for Visual Recognition lecture 1-5
10-01
【斯坦福CS231n课程详解：2017年春CNN for Visual Recognition讲座1-5】 在计算机科学的世界中，计算机视觉是一门至关重要的领域，它涉及到让机器理解和解释图像与视频的能力。斯坦福大学的CS231n课程是这个领域的...
斯坦福CS231n Convolutional Neural Networks for Visual Recognition lecture 1-5
10-01
《斯坦福CS231n深度学习视觉识别课程——卷积神经网络讲座1-5解析》 斯坦福大学的CS231n课程是全球知名的计算机视觉领域深度学习课程，其2017年春季学期的系列讲座深入浅出地介绍了卷积神经网络（Convolutional ...
CS231n课程笔记——Nearest Neighbor分类器 示例代码相关文件
09-13
**CS231n课程是斯坦福大学计算机视觉的一门著名课程，主要涵盖了深度学习在图像识别中的应用。其中，“Nearest Neighbor分类器”是一种基于实例的学习方法，它不涉及模型训练，而是直接将测试样本与训练集中最近的...
cs231n中文资料
06-23
《斯坦福CS231n课程中文资料详解》 在深度学习领域，斯坦福大学的CS231n课程——视觉识别（Convolutional Neural Networks for Visual Recognition）是一门非常重要的学习资源。由李飞飞教授（lifeifei）主讲的这门...
cs231n课件.zip cs231n课件.zip
08-23
斯坦福大学的cs231n是一门专注于计算机视觉的知名公开课，它为学生提供了一个深入理解图像处理、深度学习和机器学习在视觉识别领域的应用的平台。"cs231n课件.zip"包含了这门课程的教学材料，如PPT演示文稿，以及...
Stanford Reinforcement Learning course
09-22
斯坦福大学2018年 CS234 课程关于强化学习PPT，关于强化学习方面的比较好的入门学习材料
斯坦福 CS224n 中文笔记整理活动 | ApacheCN
weixin_34128237的博客
06-11 297
参与方式：github.com/apachecn/st… 整体进度：github.com/apachecn/st… 项目仓库：github.com/apachecn/st… 贡献指南 请您勇敢地去翻译和改进翻译。虽然我们追求卓越，但我们并不要求您做到十全十美，因此请不要担心因为翻译上犯错——在大部分情况下，我们的服务器已经记录所有的翻译，因此您不必担心会因为您的失误遭到无法挽回的破坏。（改编自...
STANFORD RL CS234 第一次作业总结
qian1122221的博客
11-05 1463
1 Optimal Policy for Simple MDP (a) 等比数列取极限。 (b)官方解答已经很清楚了 solution: If γ > 0, value of γ does not change the ordering of states, so the optimal policy is the same; however, the value of the val...
斯坦福2019强化学习课程完结，讲义、PPT、视频已提供下载
量子位
04-07 1806
晓查 发自 凹非寺量子位 出品 | 公众号 QbitAI斯坦福大学AI课程资源接二连三开始更新。上周NLP课程才结束，这周强化学习（RL）课程也已全部完结。现在，强化学...
斯坦福CS231n课程笔记纯干货2
marsjhao Blog
03-28 2259
11. 神经网络的数据预处理 均值减法（Mean subtraction）是预处理最常用的形式。它对数据中每个独立特征减去平均值，从几何上可以理解为在每个维度上都将数据云的中心都迁移到原点。在numpy中，该操作可以通过代码X -=np.mean(X, axis=0)实现。而对于图像，更常用的是对所有像素都减去一个值，可以用X -= np.mean(X)实现，也可以在3个颜色通道上分别操作。
234的笔记
weixin_30815427的博客
12-13 63
首页这块的模板是对应主题下的catalog/product/homelist.phtml,是后台的静态块中recommenddations中配置的， 转载于:https://www.cnblogs.com/focai/p/4161027.html
斯坦福CS20SI：基于Tensorflow的深度学习研究课程笔记，Lecture note3：TensorFlow上的线性回归和逻辑回归
oolyjoo38的博客
05-12 2031
课程笔记3：TensorFlow上的线性回归和逻辑回归“CS 20SI: TensorFlow 深度学习研究”(cs20si.stanford.edu) 由Chip Huyen (huyenn@stanford.edu)编译 Danijar Hafner 审核在前两个讲座中，我们已经学到了很多。这两个讲座涉及到了一些关键的概念性知识。如果这篇笔记中的某些知识你并不了解，可以回到前两个讲座中回顾，
斯坦福CS课程列表
热门推荐
骑着蜗牛去旅行的博客
07-03 1万+
http://exploredegrees.stanford.edu/coursedescriptions/cs/ CS 101. Introduction to Computing Principles. 3-5 Units. Introduces the essential ideas of computing: data representation, algorithms,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值