robot
文章平均质量分 60
OsgoodWu
这个作者很懒,什么都没留下…
展开
-
如何理解deepMind 团队的Muzero算法
如何理解deepMind 团队的Muzero算法Muzero算法是什么?Muzero建立在alphaZero算法的搜索能力以及基于搜索的策略迭代算法之上,同时联合了一个学习model在训练的过程中,极大的扩展了该学习算法的应用场景。它主要是将mentor Calor Tree Search算法、hidden state value equivalence思想,以及Deep Neural Network 相结合,创造一个更加general的算法来进行强化学习的训练,一句话总结就是 Muzero算法是一个原创 2021-10-30 15:30:15 · 1960 阅读 · 0 评论 -
关于Gazebo ROS Kobuki plugin:NaN in d1. step time:0.01的问题
gazebo turtlebot kobuki ros原创 2017-12-11 21:14:22 · 770 阅读 · 0 评论 -
强化学习中DQN是如何更新网络参数的?
下面是DQN更新参数的流程框图: 如图所示,当前的状态为S(t),通过eval net可以预测出current state对应的不同actions的Q值,然后通过greedy policy选择让Q值最大的actions进行状态转换。下一个时刻的状态我们设为S(t+1),我们是通过Target net计算出下一个时刻对应的Q值Q(t+1),然后计算出Loss,更新Eval net。 那么网原创 2017-12-27 16:54:19 · 9101 阅读 · 0 评论 -
Nature DQN为什么会存在过估计?
谈到过估计(overestimate)问题的时候,我们需要先交代一下背景,现在训练神经网络的时候,不是一张图一张图的进行训练,我们是通过一个batch一个batch去训练,每个batch里面包含了N张图,所以经常在看到别的网络参数的时候会有一个batch size的参数。 假设N=32,就是32张图分别经过CNN网络计算,然后计算出32个Loss,然后会把这32个Loss求和或者求平均转换成1个L原创 2017-12-28 15:49:57 · 5103 阅读 · 3 评论 -
gazebo中创建stereo camera并且利用ROS获取左右图
现在很多CNN算法都开始采用无监督的学习算法,有的时候需要在仿真环境中获取一个stereo camera的左右图来进行训练,发现用gazebo获取一个stereo camera的左右图的资料比较少,所以就记录一下我做的过程。在读这篇博客之前,请先了解gazebo的相关内容和ROS的相关知识。步骤: 1、创建一个stereo camera model,添加ros plugin 2、创建一...原创 2018-06-08 17:19:51 · 5591 阅读 · 9 评论 -
gazebo中获得任意model的groundtruth的pose
初衷在利用gazebo做实验的时候,我们往往需要获得某个model的pose,拿视觉SLAM来说,很多时候缺少camera 的 groundtruth的pose。那么我们应该怎么获得呢?做法我们可以在模型的urdf文件或者sdf文件中加入下面这段代码,这是给模型加入一个ros plugin——libgazebo_ros_p3d。<gazebo> <plugin nam...原创 2018-12-18 17:58:15 · 3819 阅读 · 5 评论