强化学习 | 课堂笔记 | 第二课 DPP/近似DPP/Q函数

最新推荐文章于 2024-06-15 23:36:03 发布
最新推荐文章于 2024-06-15 23:36:03 发布
阅读量295 收藏
点赞数
分类专栏： 强化学习 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46219381/article/details/129242427
版权

一、动态规划原理

1.1 马尔科夫性

马尔科夫性是可以用动态规划的前提，即：

1.2 贝尔曼最优性原理

这里假设π是固定动作，且奖励和状态转移没有随机性。

蘑菇书EasyRL中的公式(2.3.12价值迭代)在此基础上增加了状态转移的随机性，其他并无变化，见☆☆式

1.2.1 remark

第二条，固定π时的方程即为贝尔曼方程

 二、随机结构

引入不确定性：Pr(r|St,At)和Ps(s|St,At)以及π(a|s)，此时贝尔曼方程发生了变化&#

最低0.47元/天 解锁文章
Charlie_1541
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【人工智能的数学基础】行列式点过程(Determinantal Point Process)
禅与计算机程序设计艺术
06-26 4828
在机器学习中，**行列式点过程 (determinantal point process, DPP)是一种解决子集选择问题的方法，即从样本集合中选择具有多样性(diversity)**的一个子集。DPP赋予该子集上的分布能够使得选择两个相似程度较高样本的概率是负相关的，即越相似的样本越不容易被同时采样到。一般地，行列式点过程PP是在一个离散的有限基本点集Y12NY12...N的幂集2Y2Y上定义的概率测度 (probability measure)。
行列式点过程 (Determinantal Point Process, DPP)
qq_46600553的博客
01-31 1199
行列式点过程(Determinantal Point Process, DPP)是一种概率模型，用来从全集Z\bm{Z}Z中抽取相关性和多样性最大的子集A\bm{A}A。子集被抽中的概率等于子集核矩阵的行列式与全集核矩阵的行列式的比值，即PLAdetLAdetLI(1)PL​AdetLIdetLA​​1其中，III为单位矩阵，∣P∣N|P|=N∣P∣N。核矩阵LLL。
Python+Vue计算机毕业设计健身房管理系统m127n（源码+程序+LW+部署）
万青JAVA毕设源码
12-31 809
Python3.7.7+Django+Mysql5.7+pip list+HBuilderX（Vscode也行）+Vue+Pychram社区版。2. 前端：vue+css+javascript+jQuery+easyUI+highcharts。2.IDE环境：Python和Python 社区版都可以。Django + Vue +Python+Mysql 等等组成，B/S模式等等。该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。1. 后端：Python、Vue、Django、Mysql。
行列式点过程推荐多样性算法
wang2008start的专栏
07-05 1858
推荐多样性的衡量指标是单个推荐列表中物品之间的差异程度，通过计算在同一个推荐 list 中两两 Item 之间的相似度的平均值来进行衡量。 DPP（Determinantal Point Process）行列式点过程，是一种性能较高的概率模型。将复杂的概率计算转换成简单的行列式计算，通过核矩阵的行列式计算每一个自己的概率。 ...
【阅读笔记】Distribution-induced Bidirectional Generative Adversarial Network for Graph Representation
靓仔博客
01-06 1131
图表示学习的目的是将一个图的所有节点编码成低维向量，作为许多计算视觉任务的输入。然而，现有的算法大多忽略了数据固有分布甚至噪声的存在。这可能会显著增加过拟合现象，降低测试精度。在本文中，我们提出了一种分布诱导的双向生成对抗网络(DBGAN)，用于图表示学习。该算法采用结构感知的方法估计潜在表示的先验分布，而不是广泛使用的正态分布假设，通过原型学习隐式地连接图和特征空间。这样就为所有节点生成了有区别的鲁棒表示。此外，为了在保持表示能力的同时提高泛化能力，通过一个双向对抗学习框架很好地平衡了样本级和分布级的一致
推荐系统之排序：基本原理和前沿研究（2023）
nihaomafb的博客
09-25 1513
本文对工业界和学术界相关进展进行深入调研，并结合自身过往工作经验，对推荐系统中排序过程涉及知识进行总结。
Python库 | dpp_client-1.0.7.tar.gz
03-04
python库。资源全名：dpp_client-1.0.7.tar.gz
dpp.zip_dpp_dpp算法包_dpp算法成熟包_quality_兴全合宜混合a
07-15
通过行列式点过程，可以选取高质量，高多样性的特征
DPP.zip_dpp_highwayzix_mppt_optimization_pv
09-24
仿真验证差额功率变换器在光伏优化当中的应用
DPP.rar_dpp_protection path_专用保护算法_光网络_光网络路由
09-24
本程序采用Dijkstra核心算法，用来计算光网络中路由专用保护算法，计算工作路径和保护路径
DPP.rar_256色_bmp_bmp 256_dpp_visual c++ 数字图象处理
09-21
一套较完整的数字图象处理程序源码，功能齐全，目前只支持256色BMP位图
GPT-3等三篇论文获NeurIPS 2020 最佳论文奖！华人一作获时间检验奖
深度学习技术前沿
12-08 593
作者 | AI科技评论刚刚，NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖两项大奖！今年一共有三篇论文共同获得最佳论文奖，其中第二篇获奖论文就是来自OpenAI团...
贝尔曼最优方程(Bellman Optimality Equation)
静静的学习就好
05-19 9902
贝尔曼最优方程目录回顾 + 补充逻辑场景设置贝尔曼最优方程最优策略与最优价值函数 本节使用更新图的方式对Vπ(s)V_\pi(s)Vπ​(s)和qπ(s,a)q_\pi(s,a)qπ​(s,a)之间的关系进行详细说明，并在贝尔曼期望方程(Bellman Expectation Equation)基础上介绍贝尔曼最优方程(Bellman Optimality Equation)。
Bellman最优性方程与Q值迭代算法
qq_39573785的博客
01-16 1878
Bellman找到了一种方法来估计任何状态s的最佳状态值（*），记为V*(s)，V*(s)是代理在达到状态s时（假设采取最佳行为）所期望的所有折价未来奖励的总和。 他表明，如果代理能发挥最佳作用，则适用Bellman最优性方程。 这个递归方程式表示，如果主体采取最佳行动，那么当前状态的最优值等于采取一项最佳行动后平均获得的报酬，加上该行动可能导致的所有可能的下一状态的预期最优值。即， V∗(s)=...
dp交换机命令_Profibus_DP转Modbus
weixin_35225189的博客
12-31 1326
▼ 更多精彩推荐，请关注我们 ▼型号：SG-DP_MOD-110一、产品介绍1.1产品说明产品可以作为Profibus从站和Modbus主站或从站，用来把Modbus设备接入到Profibus网络中。产品支持标准的Profibus协议，可接入多种组态软件和PLC中。可以将支持标准Modbus协议的设备(主机/从机)接入Profibus总线系统中。产品工作电压范围...
力扣LCP 08.剧情触发时间
Pisasama的博客
06-12 434
【代码】力扣LCP 08.剧情触发时间。
力扣136. 只出现一次的数字
最新发布
LNsupermali的博客
06-15 436
力扣136. 只出现一次的数字
LSS 和 BEVDepth算法解读
pytorch内部机制解读
06-13 988
当前BEV的研究大都基于深度学习的方法，从组织BEV特征信息的方式来看，主流方法分属两类：自底向上方法和自顶向下方法。自底向上方法比较早的代表工作是LSS，后来BEVDet、BEVDepth等也是基于LSS的框架来进行优化。自底向上方法核心是：Lift——对各相机的图像显性地估计像平面下采样后特征点的深度分布，得到包含图像特征的视锥（点云）；Splat——结合相机内外参把所有相机的视锥（点云）分配到BEV网格中，对每个栅格中的多个视锥点进行sum-pooling计算，形成BEV特征图；
[力扣题解] 236. 二叉树的最近公共祖先
东皇太一在此的博客
06-10 433
用深度搜索的思想（好吧，前序、中序、后序都是深搜思想），保存寻找路径，看看找到2个节点的路径的重合部分，就可以找到最近公共祖先；
对QP/C中的DPP例程进行讲解
06-13
DPP是Differential Pulse Code Modulation(差分脉冲编码调制)的缩写，在视频编码中常用于编码预测误差，以减少数据量和提高压缩效率。下面对QP/C中的DPP例程进行讲解： DPP的编码过程如下： 1.读取当前帧和参考帧的像素数据。 2.将参考帧的像素数据与当前帧的像素数据进行差分运算，得到预测误差。 3.对预测误差进行量化，得到量化误差。 4.对量化误差进行熵编码，得到二进制码流。 DPP的解码过程如下： 1.读取参考帧的像素数据。 2.对二进制码流进行熵解码，得到量化误差。 3.对量化误差进行反量化，得到预测误差。 4.将参考帧的像素数据与预测误差进行加和，得到当前帧的像素数据。 在QP/C中，DPP的编码和解码实现都在"DPP.C"文件中。其中，编码函数为"DppEncode"，解码函数为"DppDecode"。 DppEncode函数的参数包括：当前帧的像素数据、参考帧的像素数据、图像宽度和高度、量化参数。 DppEncode函数的实现过程如下： 1.通过调用"GetDiff"函数，得到预测误差。 2.通过调用"Quantize"函数，对预测误差进行量化，得到量化误差。 3.通过调用"WriteCode"函数，对量化误差进行熵编码，得到二进制码流。 DppDecode函数的参数包括：参考帧的像素数据、图像宽度和高度、量化参数、二进制码流。 DppDecode函数的实现过程如下： 1.通过调用"ReadCode"函数，对二进制码流进行熵解码，得到量化误差。 2.通过调用"Dequantize"函数，对量化误差进行反量化，得到预测误差。 3.通过将参考帧的像素数据与预测误差进行加和，得到当前帧的像素数据。 综上所述，DPP在视频编码中起到了重要的作用，能够有效地减少数据量和提高压缩效率。在QP/C中，DPP的实现也相对简单，通过差分运算、量化、熵编码和反量化等步骤，实现了对预测误差的编码和解码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值