[課程筆記] 機器學習2021(李弘毅) L32.概述增強式學習(四)

已于 2022-03-14 20:28:42 修改
阅读量705 收藏 1
点赞数
分类专栏： 線上課程 文章标签： 深度学习
于 2022-03-09 00:01:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JYLin_master/article/details/123366091
版权

Reward Shaping

Sparse Reward

  • 许多场景中，大多数情况下并没有奖励，像是:
    • 围棋: 平常落子没有奖励，只有棋局结束时才有奖励(输/赢)
    • 机器人栓螺丝: 大多数动作都没有奖励，只有成功栓螺丝才有奖励
  • 人类可以想办法设计额外的奖励来帮助学习，类似短期目标

Reward Shaping

  • 游戏中的得分机制，只有杀死敌人或是被敌人杀死会影响分数
  • 这表示大部分的行为没有奖励
  • 可以设计短期目标，帮助机器学习:
    • 移动、吃补给包、补包加分
    • 扣血: 负奖励 (更容易死亡)
    • 待在原地: 负奖励 (因为模型可能会避免移动，失去探索的机会)
    • 活着: 负奖励 (因为模型可能会移动但避免战斗，失去探索的机会)
  • 需要人类的领域知識介入，才能设计良好的奖励

Curiosity

  • 当模型，看到有意义的新发现时，会获得奖励
  • 有意义的新发现，是为了避免无用的新发现，让模型放弃探索
  • 如何避免无意义的新发现，详情请看论文

参考

  1. ​李弘毅老師 -【機器學習2021】概述增強式學習 (Reinforcement Learning, RL) (四)
    ​

傷心太平洋
关注
专栏目录
李宏毅2020机器学习资料汇总
⚡
04-08 8万+
前言 可能受到新冠病毒的影响，台大也开始了网课教学。李宏毅上传了2020版本的机器学习视频，可以说是非常好的学习资料（尽管其中多数都是2017、2019的视频，但有部分更新）。 和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习……
李宏毅机器学习笔记第17周_概述增强式学习（Reinforcement Learning）
peaunt1的博客
08-04 710
Reinforcement Learning
【第一周】李宏毅机器学习笔记01
qq_30043925的博客
06-30 871
本周学习了机器学习的基本概念，包括机器学习的函数输入输出类型以及函数的分类，分别了解了简单模型和复杂模型的训练三步骤。认识了神经网络的的结构，了解了深度学习的训练三步骤，学习并手动推导了反向传播法，进一步理解了反向传播的思想以及反向传播中涉及的计算思路。
李宏毅机器学习笔记
weixin_49119476的博客
04-29 1861
m和sigma都考虑了过去所有的gradient。区别：momentum主要考虑方向sigma主要考虑大小momentus是为了增加历史运动的惯性，RMS是为了缓和步伐的大小，变得更平缓network弹性逐渐变小。receptive field + parameter share 即为 convolutional layer。使用卷积层的神经网络即为CNN。CNN有比较大的bias，但是是专门为影像设计，所以在这方面做的很好。
机器学习笔记（李宏毅2022）-机器学习基本概念
qq_42472662的博客
08-20 856
设计一个机器学习模型的步骤
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Transformer
热门推荐
知不足而奋进，望远山而前行
11-11 2万+
Transformer是一个用于解决Seq2Seq问题的模型，用来解决输出长度不确定的问题Transformer是一个利用自注意力机制来提高模型训练速度的深度学习模型它适用于并行化计算它本身模型的复杂程度较高它在精度和性能上都要高于之前流行的RNN循环神经网络。Seq2Seq模型是输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。它的输入是一个序列，输出也是一个序列。
[課程筆記] 機器學習2021(李弘毅) L29.概述增強式學習(一)
JYLin_master的博客
03-01 3683
目录 A. What is RL ? 1. Machine learning ~ Looking for a Function 2. Example: Playing Video Game 3. Example: Learning to playGo 4. Machine Learning is so Simple Step 1. Function with unknown Step 2. Define loss Step 3. Optimization B. Policy Gradie.
李弘毅机器学习笔记：第十六章—无监督学习
fly975247003的博客
09-28 577
李弘毅机器学习笔记：第十六章—无监督学习聚类K-means层次聚类Distributed Representation降维降维样例特征选择主成分分析数学推导主成分分析的另一个角度奇异值分解主成分分析和神经网络缺点应用实例矩阵分解FM推荐系统中的应用MF主题分析的应用未引入的其他相关方法 我把dimension reduction分为两种，一种做的事情叫做“化繁为简”，它可以分为两种：一种是clu...
李弘毅机器学习笔记：第十四章—Why deep?
fly975247003的博客
09-24 405
李弘毅机器学习笔记：第十四章—Why deep?问题1：越深越好？问题2：矮胖结构 v.s. 高瘦结构引入模块化深度学习使用语音识别举例语音辨识：传统的实现方法：HMM-GMM深度学习的实现方法 DNN两种方法的对比 GMM v.s. DNN普遍性定理举例使用逻辑电路举例使用剪窗花举例使用二位坐标举例端到端的学习语音识别图像识别更复杂的任务 问题1：越深越好？ learning从一层到七层，er...
李弘毅机器学习笔记
06-29
根据提供的文件信息，李弘毅的机器学习笔记内容涵盖了机器学习领域的多个核心概念和学习方法。以下是从标题、描述、标签以及部分文件内容中提炼出的知识点： ### 标题：李弘毅机器学习笔记 ### 描述：李弘毅机器...
机器学习笔记5.22
07-14
机器学习笔记5.22主要记载了斯坦福大学2014年机器学习课程的个人笔记。该课程由吴恩达授课，旨在全面介绍机器学习、数据挖掘、统计模式识别等领域的基本概念和应用实践。以下是对笔记内容的详细解读： 机器学习是...
ade20k 街景图像【数据集】及其【论文出处】ADE20K数据集 超过25000张图像的语义分割数据集
阿利同学的博客
10-04 809
ade20k 街景图像【数据集】及其【论文出处】ADE20K数据集是一个包含超过25000张图像的语义分割数据集，这些图像被密集注释，覆盖室内和室外场景。 它由MIT发布，包含100个事物类别和50个物质类别， 用于训练和验证的图像数量分别为20210和2000。 ADE20K数据集的特点包括丰富的场景多样性和详细的语义标注，使得它成为训练和评估语义分割模型的重要资源。 数据集组成： ADE20K数据集分为训练集、验证集和测试集，其中训练集包含20,210张图像，验证集包含2,000张图像。测试集的图像
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 968
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)
君子不器 大道无方
09-30 1681
本文旨在详细介绍如何使用PyTorch框架实现基于CNN+Transformer的混合模型，并将其应用于交通流量时序预测任务。我们将从模型架构、数据处理、训练优化等多个方面进行深入剖析，力求为读者提供一个全面、系统的学习与实践指南。希望通过本文的介绍，读者能够掌握CNN+Transformer混合模型的基本原理与实现方法，并能够在实际交通流量预测任务中灵活应用，为城市交通管理与规划贡献自己的力量。
基于深度学习的不遗忘训练
weixin_42605076的博客
10-02 842
基于深度学习的不遗忘训练（也称为抗遗忘训练或持久性学习）是针对模型在学习新任务时可能会忘记已学习内容的一种解决方案。该方法旨在使深度学习模型在不断接收新信息的同时，保持对旧知识的记忆。
CNN+Transformer解说
owolai的博客
10-01 579
CNN（卷积神经网络）和Transformer是两种在深度学习领域广泛使用的模型架构，它们在处理不同类型的数据和任务时各有优势。CNN擅长捕捉局部特征和空间层次结构，而Transformer擅长处理序列数据和长距离依赖关系。将CNN与Transformer结合，可以创建出一种新的模型架构，这种架构能够同时利用CNN在图像处理中的优势和Transformer在处理序列数据中的优势。
深度学习基础—人脸识别
最新发布
sniper_fandc的博客
10-09 882
假设数据库只有4张照片，编号1是需要验证的照片，她和左列第二个人是同一个人，识别系统应该能认出来，但是编号2这个人不存在数据库中，系统应该识别不出来，那通常情况下，数据库中只保存一个人的一张照片，而不是多张，经验告诉我们，用一张照片作为训练集，训练的网络表现很差（欠拟合），如何用一个人的一张照片就可以训练出健壮的网络就是One-Shot学习的目的。现在用这三张照片构成两组对比，(A,P)和(A,N)，我们希望d(A,P)值很小，因为他们是同一个人，而d(A,N)值很大，因为他们不是同一个人。
基于深度学习的视频摘要生成
weixin_42605076的博客
10-03 531
信息过载：随着视频内容的爆炸性增长，用户很难有效地消费大量视频，视频摘要可以帮助快速浏览重要内容。多场景应用：视频摘要可用于社交媒体、视频检索、监控分析、教育视频浓缩等领域。结合音频与字幕：多模态方法可以同时分析视频、音频、字幕等多种信号，提升摘要生成的准确性和丰富性。视觉和语义信息结合：通过结合视觉内容与语义信息（如字幕或语音转录），模型可以生成更具语义理解的摘要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值