- 博客(11)
- 收藏
- 关注
RSS订阅
原创 重要性采样(Importance Sampling)详细学习笔记
重要性采样(Importance Sampling)透彻学习笔记文章目录重要性采样(Importance Sampling)透彻学习笔记前言：参考主体：on-policy 和 off-policyOn-policy:Off-policy:重要性采样重要性采样后方差的变化-公式推导前言：重要性采样，我在众多算法中都看到的一个操作，比如PER，比如PPO。由于我数学基础实在是太差了，每次看都是迷糊过去，希望下次能看懂，半年前看《深入浅出强化学习》的时候，是理解了的，但是没做笔记，再看的时候就记不起来了…
2021-01-08 21:57:02
13408
12
转载 基于OpenCv的机器人手眼标定（九点标定法）《转载》
转载链接：基于OpenCv的机器人手眼标定（九点标定法）对于初学者而言，对相机的标定经常模糊不清。不知道机器坐标与相机坐标如何转换，两个坐标系又是如何建立？我们通常是利用张氏标定法，针对于相机的畸变进行标定，利用校正得到的参数对图形进行处理后再呈现出来。这个方法网上用的人很多，资料也较为全面。这里就不做说明了。本文主要是针对机械手的手眼标定，一般而言目前相机的畸变较小，精度也较为准确，使用该方法进行标定也能得到较好的效果。首先，对于九点标定而言。我们使用到的是OpenCv中的estimateRi
2021-01-26 22:16:49
7943
1
转载 海康工业相机Python调用实现连续实时拍照
海康工业相机Python调用实现连续实时拍照文章目录海康工业相机Python调用实现连续实时拍照前言：参考链接：提前设置：代码：前言：海康的相机调用简直太复杂了。当然相比point gray fly的相机无法python调用要好很多。为了将照片调用打包成类，我竟然花了两天时间？这里做一个简单的记录。希望能给大伙儿一个分享。参考链接：海康工业相机Python调用实现拍照提前设置：先安装条件：Python+海康官方的mvs文件下的development/samples下的python文件夹
2021-01-25 16:56:00
6596
4
原创 Anaconda虚拟环境使用及包管理
Anaconda虚拟环境使用及包管理文章目录Anaconda虚拟环境使用及包管理前言：参考链接：列出所有已有虚拟环境创建新的虚拟环境激活并进入虚拟环境删除一个已有的虚拟环境(以下两条指令均可)分享代码的时候,同时也需要将运行环境分享给大家用对方分享的YAML文件来创建一模一样的运行环境Jupyter 运行Anaconda的虚拟环境Jupyter-Notebook 删除指定 kernel–查看jupyter notebook中有哪些kernel–删除指定kernel管理anaconda包–管理指定虚拟环境的
2021-01-25 10:36:06
7210
1
转载 Pycharm如何永久退出pytest模式！！《转载》
Pycharm如何退出pytest模式——讨厌run pytest inrun pytest in模式——一坨屎一样你在写程序时，一定很讨厌pycharm自动将允许模式设置为pytest吧。由于程序中含有test相关单词，系统默认模式为pytest，但是pytest不能执行程序转载教程：https://blog.csdn.net/weixin_45561795/article/details/109607435一、暂时去除解决办法方法一步骤一：Run–>...
2021-01-24 15:24:42
1192
原创 OpenCV 中图像坐标系统与Python中NumPy Arrays之间的关系
OpenCV 中图像坐标系统与Python中NumPy Arrays之间的关系文章目录OpenCV 中图像坐标系统与Python中NumPy Arrays之间的关系前言：参考链接：image.shape和长宽的关系：OpenCV中的图像坐标系 行列宽和高x和yPython中选取信息选取ROI对象采用切片法异常简单选取像素前言：OpenCV的坐标系和numpy的不一样，经常拿到了坐标(x, y)，直接代入就会出现坐标反了的问题。而且之前只能通过临时debug来确定，我的坐标有没有对好。这就显得我很业
2021-01-21 20:03:59
1471
1
原创 RLV《Reinforcement Learning with Videos: Combining Offline Observations with Interaction》深度阅读笔记
《Reinforcement Learning with Videos: Combining Offline Observations with Interaction》阅读笔记文章目录《Reinforcement Learning with Videos: Combining Offline Observations with Interaction》阅读笔记前言：开篇几问：参考链接：一. 论文简介1. 作者：2. 期刊杂志：3. 引用数：4. 一句话介绍论文解决的问题：5. 论文背景，领域Advers
2021-01-20 13:02:07
302
原创 CSDN论文阅读笔记模板框架
《》阅读笔记文章目录《》阅读笔记前言：参考链接：一. 论文简介1. 作者：2. 期刊杂志：3. 引用数：4. 论文背景，领域5. 应用场景6. 一句话介绍论文解决的问题：二. 创新点和贡献：三. 相关领域的概述(related work)四. 作者的方案五. 主要的信息流（approach）六. 总结：前言：参考链接：一. 论文简介1. 作者：2. 期刊杂志：3. 引用数：4. 论文背景，领域5. 应用场景6. 一句话介绍论文解决的问题：二. 创新点和贡献：三. 相关领域的概述(re
2021-01-17 10:05:08
1338
原创 《Understanding Multi-Step Deep Reinforcement Learning: A Systematic Study of the DQN Targe》阅读笔记
《Understanding Multi-Step Deep Reinforcement Learning: A Systematic Study of the DQN Targe》阅读笔记文章目录《Understanding Multi-Step Deep Reinforcement Learning: A Systematic Study of the DQN Targe》阅读笔记前言：参考链接：一. 论文简介1. 作者：2. 期刊杂志：3. 引用数：4. 论文背景，领域一句话描述研究背景：实验分析：
2021-01-14 22:23:31
755
2
原创 如何理解MC（n-steps）的方差大，TD-1-steps方差小？
如何理解MC（n-steps）的方差大，TD-1-steps方差小？前言：在多步中，我们需要考虑下面多步的动作和状态，随机性比较大。每次获取的轨迹都可能不一样，另外多步的值的绝对值也比较大，因此方差会随之增大。但是价值函数v(s)的定义就是回报（return）-G_t的期望，即如果我们采样足够多的轨迹，他们的平均，就是v(s)，它的偏差为0；而在1-step中，我们只有下一步的信息，比如N个不同的动作，那么状态值函数为V(s)=1N∑n=1NQ(s,an)V(s)=\frac{1}{N}\sum_{
2021-01-13 09:32:24
444
1
原创 为什么Q-learning不用重要性采样（importance sampling）？
为什么Q-learning不用重要性采样（importance sampling）？文章目录为什么Q-learning不用重要性采样（importance sampling）？前言：参考链接：理解过程：1step-Q-learning的定义公式：2step-Q-learning：前言：前几天在整重要性采样，然后提到的一个模糊的概念就是:在异策略(off-policy)方法中，行动策略μ\muμ即用来产生样本的策略，所产生的轨迹概率分布相当于重要性采样中的q[z]q[z]q[z]，用来评估和改进的策
2021-01-11 12:44:55
3422
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人