mike112223的博客

这几天重新看了BN，完成了翻译，也仔细的对里面一些自己感到疑惑的点，进行了查阅和思考，其中有一些个人见解，欢迎大家来讨论。本文分两个部分，第一部分对BN进行一些基本讲解，第二部分讲其他的一些Normalization方法。BN1 问题首先我们要明白BN想要解决的问题是什么，参考原文我们发现，随着网络越来越深，训练深度网络变得很困难，收敛速度很慢。1.1 原因原文告诉我们是因为 Inte...

论文链接：https://arxiv.org/pdf/1502.03167.pdf论文题目：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift这里说明一下，这篇已经是很早的paper了，但是它的非常重要，所以我重温了一下，顺便翻译了。Batch Norma...

博主最近在做强化相关的任务，用到了UR5机械臂，所以本文主要讲述在使用过程中，对于UR机器人位姿的理解。在阅读本文之前，希望大家能够花一点时间读一下我的另一篇博文空间信息与坐标变换。本文如有错误的地方，欢迎大家指正，欢迎讨论。机座和工具首先UR机器人里定义了两个坐标系，一个是机座坐标系，一个是工具坐标系，机座坐标系就是以UR机器人的底座中心为坐标原点，y轴正方向为电线伸出的方向，z轴正方向为...

论文链接：https://arxiv.org/pdf/1811.06964.pdf论文题目：Grasp2Vec: Learning Object Representations from Self-Supervised GraspingGrasp2VecAbstract好的结构化的视觉表示能够帮助机器人快速的学习并且同时提高泛化能力。本文，我们研究对于机器人操作任务，如何在没有人工标注...

论文链接：https://arxiv.org/pdf/1511.05952v2.pdf论文题目：PRIORITIZED EXPERIENCE REPLAYPrioritized Experience ReplayAbstract经验回放允许在线强化学习agent可以记住并且重复使用过去的经验。在之前的研究中，经验转变信息是从回放库里均匀采样的。然而，这种方法只是简单的以同样的频率来回放...

论文链接：http://storage.googleapis.com/deepmind-data/assets/papers/DeepMindNature14236Paper.pdf论文题目：Human-level control through deep reinforcement learningDQN为了让强化学习能够逼近复杂的现实世界，agents必须面临一个很难的问题：它们必须...

论文链接：https://arxiv.org/pdf/1509.06461.pdf论文题目：Deep Reinforcement Learning with Double Q-learningDouble DQNAbstractQ-learning算法在特定情况下会存在过估计action values的情况。这种情况在实际应用中很普遍，而且会影响算法效果。之前并不知道原因以及能不能避免...

论文链接：https://arxiv.org/pdf/1511.06581.pdf论文题目：Dueling Network Architectures for Deep Reinforcement LearningDDQNAbstract本文提出一种新的网络结构用于model-free强化学习。我们的对抗网络分别表达了两个估计量：一个是状态价值函数，一个是依附于状态的动作优势函数。这个...

https://www.freecodecamp.org/news/an-introduction-to-policy-gradients-with-cartpole-and-doom-495b5ef2207f/前两篇文章介绍了Q-learning和DQN，都是value-based的强化学习算法。为了决定该state选择哪个action，我们通过Q-value来完成决策。因此，在value-b...

https://www.freecodecamp.org/news/improvements-in-deep-q-learning-dueling-double-dqn-prioritized-experience-replay-and-fixed-58b130cc5682/DQL是2014年提出的。自那以后提出了很多改进。所以，今天我们来看看四种极大提升DQN agents的训练和结果：f...

http://www.coppeliarobotics.com/helpFiles/en/remoteApiConstants.htm#functionErrorCodesRemote API function return codes每个API接口都需要返回的一个code，用来表征调用该API的状态，如果运行良好，就会返回０。Remote API function operation m...

VPG任务以及深度估计任务中，会涉及一些关于空间变换以及坐标变换的问题，这里我们统一进行一次详细的讲解，如有错误，欢迎讨论。空间信息如何描述一个物体的空间信息，我们就需要有位置描述和姿态描述。需要注意的是，我们任何的空间信息描述都是要基于一个基准的，也就是我们要基于一个坐标系来进行描述。在进行位置描述的时候，我们将物体抽象成一个点，描述它与我们定义的坐标中心的相对位置关系，等同于在定义的坐标...

https://www.freecodecamp.org/news/an-introduction-to-deep-q-learning-lets-play-doom-54d02d8017d8/上一章，我们学习了Q-Learning：一种RL算法，它会构建一个Q-table，然后agent在给定state的情况下使用Q-table来找到最优动作。但是我们会发现，如果我们有一个巨大的state空...

https://www.freecodecamp.org/news/diving-deeper-into-reinforcement-learning-with-q-learning-c18d0db58efe/本章我们来学习Q-Learning。Q-Learning是一种value-based的强化学习方法。The big picture: the Knight and the Princes...

https://www.freecodecamp.org/news/an-introduction-to-reinforcement-learning-4339519de419/The Reinforcement Learning Process依然以马里奥作为例子。RL的流程如下：Agent从env中接收到state S0S0S0（在这个例子中我们接受到的就是超级马里奥（env）里的游...

Agent一个可以做动作的代理。例如一个运输的无人机，或者超级马里奥游戏。算法就是代理。在生活中，代理就是你。ActionA是代理可能做的所有动作的集合。一个动作是一目了然的，但是需要注意的是，代理必须从这个集合里选择动作。在视频游戏里，这个list可能包括，左右移动，跳高跳低，蹲下或者静止不动。在股票市场，这个list可能是买，卖或持有。Discount factor衰减因子通过乘在未...

论文链接：https://arxiv.org/pdf/1605.06211.pdf论文题目：Fully Convolutional Networks for Semantic SegmentationFCNAbstract1 INTRODUCTION语义分割有一个一直存在的矛盾是关于语义信息和位置信息的：全局信息解决what ，局部信息解决where。那么怎么做才可以使得语义信息和位...

http://torch.ch/blog/2016/02/04/resnets.html

论文链接：https://arxiv.org/pdf/1608.06993.pdf论文题目：Densely Connected Convolutional NetworkDenseNetAbstract最近的研究表明如果在接近输入和输出的层加入一些捷径连接那么可以让网络更深，得到更好的结果，且还可以更有效的训练。在本文中，我们就遵循这个观点然后引出DenseNet，在前向传递的时候，它...

论文链接：https://arxiv.org/pdf/1812.01187.pdf论文题目：Bag of Tricks for Image Classification with Convolutional Neural NetworksBag of Tricks for Image Classification with Convolutional Neural NetworksAbs...