RL方面论文中的相关概念

最新推荐文章于 2024-08-09 09:34:54 发布
最新推荐文章于 2024-08-09 09:34:54 发布
阅读量918 收藏 1
点赞数 2
分类专栏： 强化学习笔记 文章标签： 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42743778/article/details/114029205
版权

文章目录

ablation study

消融实验，An ablation study typically refers to removing some “feature” of the model or algorithm, and seeing how that affects performance.(通过控制变量法，减少模型中改变的部分，以确定各个改变的部分对于最终结果的影响)

PAC Learning

Probably Approximately Correct Learning，概率近似正确学习。通常用于对各类算法模型可学习性的进行证明。具体内容可参考：知乎1 知乎2

核函数

通过将原有数据映射到高维空间并做内积，以此来更好地进行分类的方法。详解可参考：博客

在这里插入图片描述

regret bounds

遗憾界限，regret一般指的是当前策略和最优策略之间的差距。
在这里插入图片描述

MAP(maximum a posterior)

最大化后验 具体解释

i.i.d(independent and identically distributed)

独立同分布，数据具有的性质

sup 和 inf

sup：supremum，一个集合最小的上界，上确界
inf：infimum，一个集合最大的下界

FTRL的基础知识准备 part-1
yujianmin1990的专栏
05-25 4398
前言　　最近看了下在线学习FTRL的相关东东，对其背后的理论知识梳理下。 　　假设loss 函数为 f(x)f(x)，其中ft(xt)f_t(x_t)表示第t轮数据所对应的loss。 　　$xt+1=argminx∑tt=1ft(x)x_{t+1}=\underset{x} {argmin} \sum_{t=1}^t f_t(x) $ 　　主要求证一个问题，这个取参数的策略在什么情况有效？为什么有效？
FTRL两个Regret上限的证明 part-2
yujianmin1990的专栏
05-27 1805
前言 　　证明的路径： 　　为了求证Regret上限，先证明了两个引理，再利用凸函数间的性质定理，对两个引理做放缩推导，得证Regret的上限。 　　1) General FTRL Bound 　　2）FTRL-Proximal Bound
学习深度强化学习---第2部分----RL动态规划相关算法
qq_45893319的博客
12-11 231
态规划有两种思路：分治法和动态规划，目的是求解一个大问题。分治法分治法是将一个大问题分解成多个相互独立的子问题。然后再逐个解决每个子问题，最后将多个问题的结算结果c1、c2、…、cn进行总结，最后得到总问题的解。subp1:表示将大问题分成的子问题这些子问题的特点是这些子问题之间是相互独立的，也就是这些子问题是可以独立求解的。动态规划这个方法是将一个总问题进行逐步求解，先求解subp1，再求解subp2，…，最后求解subpn问题，
论文理解【RL - 解释性】 —— Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions
佚失的诗篇
11-07 797
论文理解 —— Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions
漫谈在线学习：阴阳论☯
做不了大牛，做无名的小小牛...
06-20 789
Primal-dual的观点《红楼梦》第三一回云：天地间都赋阴阳二气所生。世间有阴便有阳，在优化界也是如此。我们将需要最小化的目标函数称之为primal problem. 其对应就有dual problem. 例如常见的Lagrange Duality. 如果primal是凸的，那么dual便是凹的。且在常见情况下，最小化primal等价于最大化dual. 有时候直接求解primal
DeepSeek-R1论文中英文对照版.pdf
最新发布
02-19
在《DeepSeek-R1论文中英文对照版.pdf》中，我们还可以看到对术语和概念的解释，为读者理解论文提供了必要的背景知识。例如，涌现一词在文档中被解释为LLMs通过RL训练自主产生的复杂推理模式的现象，这体现了2023年...
深度强化学习在智能制造中的应用展望综述(毕设&课设论文参考).pdf
02-02
而强化学习（Reinforcement Learning, RL）则通过模拟智能体在环境中学习如何采取行动以最大化累积奖励的方式，展现出在决策制定方面的巨大潜力。深度强化学习（Deep Reinforcement Learning, DRL）结合了这两种技术...
ICML 2024 大语言模型相关507篇论文整理
lhx17673139267的博客
08-09 1799
国际机器学习会议（International Conference on Machine Learning，简称ICML）是机器学习领域最具影响力的国际学术会议之一。ICML聚集了来自全球范围内的学者、研究人员和从业者，以分享他们在机器学习领域的最新研究成果、进展和创新想法。今年的 ICML 会议已在 2024 年 7 月 21 日~ 7 月 27 日于奥地利维也纳举办。据官方邮件通知，今年 ICML 共收到 9473 份投稿，其中 2610 份被接收，接收率约为 27.55%。
论文阅读-A Survey on Reinforcement Learning for Combinatorial Optimization
hzlalb的博客
06-25 820
A背景介绍：论文首先介绍了组合优化问题，特别是旅行商问题（TSP），并强调了开发低复杂度算法来估计最优解的重要性。历史回顾：论文回顾了自20世纪50年代以来组合优化的发展历程，包括动态规划（DP）和贝尔曼方程的引入，以及它们在解决NP-hard问题中的应用。算法比较：通过比较20世纪70年代的二次分配算法和现代RL算法，论文展示了随着机器学习和计算技术进步，RL算法在解决TSP方面的发展。深度学习集成：论文介绍了深度RL（Deep RL）的概念，并探讨了如何通过注意力机制和特征编码来生成TSP的近似最优解。
论文笔记：预训练大模型综述（NLP相关部分）
sfgsdfg2516的博客
08-04 1366
预训练基础模型(PFMS)是具有不同数据模式的各种下游任务的基础。PFM(例如BERT、ChatGPT和GPT-4)在大规模数据上进行训练，为广泛的下游应用提供合理的参数初始化。BERT与GPT与传统方法相比具有各自的特点，具体而言：BERT从Transformer中学习双向编码器表示，GPT使用Transformer作为特征提取器，并在大型数据集上训练最近，ChatGPT表现出来卓越的性能，PFM也为人工智能领域带来重大突破许多研究提出了不同的方法、数据集和评估指标，提高了对更新调查的需求。
漫谈在线学习：在线梯度下降
做不了大牛，做无名的小小牛...
06-20 2164
转载自：http://mli7.wordpress.com/在线凸优化回顾下上次聊的专家问题，在时刻专家的损失是，于是这个时刻Weighted Majority（WM）损失的期望是，是关于这个专家的损失的一个线性组合（因为权重关于的和为1，所以实际上是在一个simplex上）。将专家在时刻的损失看成是这个时候进来的数据点，于是我们便在这里使用了一个线性的
Online linear programming: Dual convergence, new algorithms, and regret bounds
weixin_43889128的博客
06-24 1222
在线线性规划
Randomized Online PCA Algorithms with Regret Bounds that are Logarithmic in the Dimension
MTandHJ的博客
01-13 473
文章目录Setup of Batch PCA and Online PCAHedge Algorithm改进算法用于矩阵$rounding()$ 前俩次，都用到了rounding()rounding()rounding(),遗憾的是，都没有讲清楚，这次稍微具体地讲下这篇论文。但是说实话，我感觉，我还是没有领会到这篇文章的精髓。 Setup of Batch PCA and Online PCA B...
论文学习 --- RL Regret-based Defense in Adversarial Reinforcement Learning
Keitheasun的博客
06-27 738
个人拙见，如果我的理解有问题欢迎讨论 (●′ω`●)原文链接：本文提出了一种基于遗憾优化的方法来增强对抗性强化学习中的鲁棒性。我们定义并近似优化了一种新的遗憾度量，命名为累积矛盾期望遗憾（Cumulative Contradictory Expected Regret, CCER），并提出了三种优化方法：RAD-DRN（基于深度遗憾网络的对抗防御）RAD-PPO（基于近端策略优化的对抗防御）RAD-CHT（基于认知层级理论的对抗防御）
SkinnerDB：Regret-Bounded Query Evaluation via Reinforcement Learning【论文内容翻译】
u012280876的博客
07-19 264
行为的后果影响其再次发生的可能性”。——B.F.斯金纳估计候选计划的执行成本可能是查询优化中的主要挑战[34]。查询优化器根据粗粒度数据统计和简化的假设(例如，独立谓词)预测成本。如果估计是错误的，查询优化器会选择执行成本按数量级次优的计划。我们介绍SkinnerDB，这是一个全新的数据库系统，为可靠的查询优化而设计。SkinnerDB不维护数据统计，也不使用简化的成本和基数模型。相反，SkinnerDB从零开始学习(接近)最优的左深查询计划，即在执行给定查询期间。
速度媲美Adam，性能堪比SGD：北大、浙大学霸本科生提出全新优化算法AdaBound
weixin_33672109的博客
02-28 1345
2018 年 12 月 21 日，ICLR 2019 论文接收结果揭晓。据统计，ICLR 2019 共收到 1591 篇论文投稿，相比去年的 996 篇增长了 60%。ICLR 2019 共接收论文 500 篇，其中 oral 论文 24 篇、poster 论文 476 篇。今天，我们发现了一篇有趣的论文，该研究提出了一种新型优化方法 AdaBound，「和 Adam一样快、和 SGD一样好」。据...
bandit算法（3）--UCB算法
热门推荐
但行好事，莫问前程
10-15 2万+
引言 前面已经介绍了两种bandit算法—ϵ\epsilon-greedy算法和softmax算法。现在我们来总结下这两种算法的共有属性： 两种算法在每一轮选择时，默认都是选择到目前为止最好的臂； 除此之外，算法会尝试去探索一些目前看起来不是最好的臂：       -ϵ\epsilon-greedy算法探索的时候完全是随机的。       -softmax算法探索是基于到当前时刻臂的收益
RL关键概念
csdnqixiaoxin的博客
11-18 2619
本文内容摘录自OpenAI的深度强化学习资源Spinning Up，进入网址。 智能体与环境 强化学习（RL）主要包括智能体（agent）和环境（environment）两部分。在智能体与环境交互的每一步，智能体获取（或部分获取）环境状态的一个观测（observation），并采取一个动作（action）。环境会在智能体作用于它的时候发生变化（或者自己变化）。 智能体会从环境中获得奖励（...
强化学习遭遇瓶颈！分层RL将成为突破的希望
cpongo011702
06-21 1208
本文作者是法国里尔大学Inria SequeL团队的博士生，Yannis Flet-Berliac，他在本文中对分层强化学习（HRL）的研究进行了总结，文章首先回顾了强化学习（RL）的基本原理，并阐述了其目前所面对的局限性。随后介绍了HRL如何解决RL的局限，包括其动机、主要框架和自身的局限性。最后，讨论了这一领域当前和未来的研究。假设你的朋友刚烤好一个蛋糕，端来给你尝尝，很好吃，于是你想知道它的...
探索Python中强化学习RL的学习之旅
可以参考的资源包括在线课程、教科书、研究论文、开源项目以及强化学习相关的论坛和社区。通过这些资源和社区，学习者不仅可以获得最新的知识和进展，还能与同行交流心得，共同进步。 总结： "williamium_RL:我学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小郁同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值