RL & DL & SLAM
文章平均质量分 94
Snail_Walker
Google Senior Machine Learning Tech Lead | 行胜于言
展开
-
My First SLAM Implementation EKF-SLAM
EKF-SLAM First step to SLAM......原创 2016-09-29 00:36:43 · 2944 阅读 · 0 评论 -
Reinforcement Learning:Model-Free Prediction 笔记
Monte-Carlo learningFirst-Visit MC Policy EvaluationEvery-Visit MC Policy EvaluationTemporal-Difference LearningTDlambdaMDP: Monte-Carlo learning蒙特卡洛学习。是通过样本来判断整体的情况,没有MDP中的P和R,直接从episodes(需要有termin原创 2017-12-20 07:44:12 · 614 阅读 · 0 评论 -
Target-Driven Visual Navigation In Indoor Scenes Using DRL 讲解
简介细节问题learning setup简介机器人要对目标物体进行操作的时候,比如机器人从冰箱里拿出可乐。那么在传统方法中,一般是需要进行环境感知,机器人知道周围环境以及它目前所处的位置,位姿,以及目标的位置,接着进行路径规划,然后是决策控制。当然,中间还有landmark建模等等,可以看出为了解决这一系列的问题,需要进行较多的步骤。Feifei Li她们组就弄了一个end-to-end的方法,原创 2017-12-16 06:20:52 · 1707 阅读 · 5 评论 -
Reinforcement Learning: Model-free control
On-policy Monte-Carlo ControlOn-Policy Temporal-Difference LearningOff-Policy Learning使用Monte-Carlo对off-policy进行更新使用TD对off-policy进行更新使用Q-learning进行off-policy的更新上一节讲到的是对未知MDP的value function进行估计,这一节是原创 2017-12-20 20:45:35 · 415 阅读 · 0 评论 -
RNN, LSTM详解以及浅尝试
RNNLSTMExampleRNN也就是循环神经网络,这个东西有着非常多的用途,尤其是在对于时间序列方面,可变长序列到序列或者说是在上下文模型中有着非常广泛的应用。现在论文中说到RNN,基本上说的就是LSTM,但是最近又有了GRU,用了比LSTM更少的gate,更少的参数,可以达到类似的效果。这篇博客主要是介绍RNN,LSTM的原理,以及举了一个程序的例子来说明如何用TF实现LSTM【1】。RN原创 2017-12-31 00:09:23 · 7887 阅读 · 1 评论 -
Lua快速入门与Torch教程
Lua变量和控制流函数表示哈希表像类一样的table和继承模块化TorchTensorLua最猛的版本还是在【2】里面,15 Min搞定Lua,因为Lua是一种脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。所以会Perl,Python,Shell的话应该很快上手。变量和控制流注释: 单行: – 多行:--[[-原创 2017-12-31 10:10:41 · 9930 阅读 · 0 评论 -
DRL之DQN Deep Q Network 学习总结
本次总结从最底下的Ref Links的material中得来,如果对于某些细节不清楚可以看看链接中的内容。我在看10-703的视频的时候,我觉得Russ讲课还是很不错的,很多东西讲得言简意赅,短短几句就把DQN的核心讲得清楚。RL中核心的三个东西:policy,model和value function。policy就是根据当前的state进行对应的action,当然可以是determinist原创 2018-01-11 09:07:18 · 3399 阅读 · 0 评论 -
Reinforcement learning: integrating learning and planning, exploitation and exploration
介绍基于模型的RL整体框架基于仿真的搜索Exploration and Exploitation介绍越看到后面,我越发觉得RL更像是一种思想,Policy,State都需要自己进行定义,计算value function的过程也有公式,但是不如深度学习那么直接。之前的章节是说到如何从经验中得到policy和value function,这一节是如何从经验中获取模型。然后使用模型加经验来更新po原创 2018-01-02 10:48:52 · 410 阅读 · 0 评论 -
Reinforcement Learning Note: Concept and MDP
Reinforcement Learning ConceptrewardSequential decision makingRL Agentcategorizing RL agentMDPMarkov ProcessMarkov Reward ProcessMarkov Decision ProcessExtension of MDPPOMDPs转载请注明出处: http://b原创 2017-12-18 04:24:37 · 694 阅读 · 0 评论 -
Reinforcement Learning: value function approximation
introductionincremental methods增量法state value function with prediction approximationaction value function with control approximationbatch methods批处理introduction上一节讲到使用采样的方法进行,状态和action space都比较小的情况,原创 2017-12-27 03:49:10 · 717 阅读 · 0 评论 -
Optimization之GD,Newton Method
gradient descentNewtons MethodMomentumAdagradRMSPropAdam转载请注明出处: http://blog.csdn.net/c602273091/article/details/79111771机器学习或者是深度学习中涉及了不少优化理论,那么问题来了,在机器学习中,它优化的目标是什么?它是如何进行优化的?为什么进行这种优化?这原创 2018-01-21 12:36:46 · 1158 阅读 · 0 评论 -
Torch在使用中常见的问题hdf5安装,nn增加类
CmdLinehdf5dpnnCmdLine()这个函数是在Torch中用于调参的一个函数,方便参数解析。并能保存成log,也可以load。只会保存optition里面的参数[1], [5]。cmd = torch.CmdLine()cmd:text()cmd:text()cmd:text('Training a simple network')cmd:text()cmd:text(原创 2018-01-01 11:33:02 · 2083 阅读 · 1 评论 -
深度强化学习之Policy Gradient & Actor-Critic Model & A3C
policy gradientactor-criticA3Cpolicy gradient在之前的DQN是进行value function的approximation,是value-vased RL。这次要讲的是policy-based RL。对于RL的policy直接进行参数表示:比如可以输入state(一幅图片,一个feature vector),然后由带有参数的某种算法(比如linear原创 2018-01-12 02:45:01 · 7290 阅读 · 0 评论 -
Cognitive Mapping and Planning for Visual Navigation 笔记
框架简介细节MappingPlanning实验框架简介该论文【1】【4】【5】提出了CMP的框架来同时进行建图和路径规划,并且建图不是传统意义上的3D重建,使用SLAM建图这种。这里面建的图是confidence map,并且通过map的不断叠加,可以构造出局部confidence map和belief对接下来的路径规划进行指导。路径规划部分使用DAGGER的强化学习策略(imitation原创 2017-12-17 00:16:24 · 2069 阅读 · 4 评论 -
CNN Architecture:从LeNet-5到CapsulesNet
LeNet-5AlexNetVGGNetGoogLeNetResNetDenseNetCapsulesNetSummary转载请注明出处: http://blog.csdn.net/c602273091/article/details/79119303对于LeNet-5和AlexNet的论文我都有认真看过,对于另外的结构略看了paper。这篇博客主要还是以总结为主,对各原创 2018-01-22 03:48:21 · 2466 阅读 · 2 评论 -
Torch中的Reinforcement Learning的底层实现
原理篇实现篇nnReinforceCategoricalnnReinforce强化学习已经成为大家关注的点,至少据我了解世界顶级名校CV的实验室都在做这方面的工作。最近也在做相关的Research,正好遇到了在Torch中的RL实现,发现没有什么可以参考的中文资料,只能试着来解释一下Torch中的RL实现。原理篇在Torch中的RL【2】实现参考的是论文【1】原创 2018-01-04 13:59:18 · 1260 阅读 · 0 评论 -
Reinforcement Learning:Policy Gradient
IntroductionFinite Difference Policy GradientMonte-Carlo Policy Gradientlikelihood ratiosActor-Critic Policy GradientIntroduction上一节说的是value function approximation,使用的是函数拟合。这一节说的就是采用概率的方法来表示:这一节主要是讲原创 2017-12-30 10:43:39 · 1807 阅读 · 0 评论 -
《自卑与超越》读书笔记
弗洛伊德更加看重因果关系,把这种关系作为心理学的基本定律,认为儿童时期的心理发展会对其一生产生决定性影响。阿德勒却觉得影响人做决定不仅仅是过去的经验,更重要的是对未来的期望。这种目标虽然是虚假的,但是人们会按照这种期待进行种种行为。阿德勒称之为“自我的理想”,可以从中获得优越感,并维护自己的尊严。既然过去已经无法改变,那么我更加同意阿德勒的想法,用理想去重塑自己的意识壁,为理想而奋斗。原创 2017-12-21 01:45:49 · 2669 阅读 · 0 评论 -
Reinforcement Learning: Planning by DP
Policy EvaluationIterative Policy EvaluationPolicy IterationValue IterationAsynchronous DPIn-place DPPrioritised SweepingReal-time DPFull-Width BackupsSample BackupsSample Backups动规是一般是把问题分解成原创 2017-12-20 03:20:04 · 503 阅读 · 0 评论 -
Kitti数据集进行目标检测批处理和shell的入门
KITTI数据集的Python的批处理shell的入门知识KITTI数据集的Python的批处理#!/usr/bin/env python# --------------------------------------------------------# R-FCN# Copyright (c) 2016 Yuwen Xiong# Licensed under The MIT Licens原创 2017-04-05 22:20:00 · 2154 阅读 · 0 评论 -
SLAM, in my eyes
SLAM is short for simutaneous localization and mapping, which plays an important part in perception of robotics like autonomous driving or VR/AR.(In robotics, there are three component. Perception, con原创 2016-09-29 01:05:27 · 867 阅读 · 0 评论 -
faster rcnn+gtx1080+caffe
faster rcnn跑起来也是坑多呀,我的caffe版本比较新,然后需要更新faster rcnn里的caffe以及还有一些小问题。本博客就凌乱地整理一下安装faster rcnn中遇到的问题。更新cudnn问题hfd5跑自己的数据集can not set attribute最后结果更新cudnn问题:http://www.cnblogs.com/guanyu-zuike/p/59356原创 2016-12-28 11:51:29 · 1451 阅读 · 3 评论 -
caffe安装+Ubuntu16.04+三显卡gpu加速
最近实验室新到了一个GPU服务器:2块GTX1080+2块至强CPU+256GSSD+64G内存+4T磁盘。然后因为做Semantic SLAM需要训练自己的很大的模型,所以需要装caffe。整个过程遇到了很多坑,最坑的当然就是显卡驱动这个问题。一方面ubuntu16.04、显卡都是比较新的版本,nvidia在这方面的支持也是一如既往地让人吐槽。在安装显卡驱动过程中,遇到了闪屏、循环登录等等问题。我原创 2016-12-28 11:45:40 · 2745 阅读 · 0 评论 -
深度学习在自动驾驶中的应用
introImplementationData for TrainingNetworkSimulationTestResourceintroNvidia在做自动驾驶的时候,思路和传统思路果然有些差异。比如Google使用的是激光雷达+摄像头+IMU+惯导系统+GPS等等。Nvidia做法是采取end2end的方法,就是直接从摄像头的像素->汽车的控制。就是把采集的图片作为输入,汽车的轮子原创 2016-12-30 21:28:59 · 10755 阅读 · 1 评论 -
ORB-SLAM: A Versatile and Accurate Monocular SLAM Syetem 讲解 2
IV自动地图初始化V追踪AORB特征提取B从前面的帧初始化位姿C从全局重定位来初始化位姿D追踪局部图E新的关键帧插入VI局部地图A关键帧插入B对近期的点云进行去冗余C新的点云生成D局部地图的BAE局部帧去冗余VII闭环检测A闭环的候选检测B计算相似转换C闭环融合D关键图的优化VII实验ANewCollege上的表现B在TUM benchmark中的定位准确度原创 2017-01-13 23:04:20 · 2714 阅读 · 0 评论 -
Visual Odometry(视觉里程计): StereoScan Dense 3d Reconstruction in Real-time
介绍系统概述A特征匹配Bego-motion估计C立体匹配D3D重建实验结果运行结果及代码介绍从多个二维图片中重建3D影像是机器视觉必不可少的部分,这篇论文【1】提出的就是做3D重建的工作。这篇论文提出了一种巧妙的实时的方法做3D地图重建——使用稀疏特征和视觉里程计相结合的方法。这种方法包含了立体匹配和创建点云。用这种方法计算出来的视觉里程计是当年11年最好的。该法可以每秒执行25f,原创 2017-01-15 14:13:24 · 5696 阅读 · 8 评论 -
ORB-SLAM: A Versatile and Accurate Monocular SLAM Syetem 讲解 3
非线性优化Bundle Adjustment位姿图优化相对Sim3优化graph SLAMg2o多角度几何学homographyfundamental matrix在ORB-SLAM中,地图初始化设计homography和fundamental matrix。在BA方面涉及cost function、optimization、李群。位姿优化方面有Sim约束。非线性优化Bundle A原创 2017-01-14 21:37:50 · 1954 阅读 · 3 评论 -
Road Hackers:自动驾驶平台
数据原理开放平台数据10000公里数据,涉及很多数据,自定位、决策、路况分析、POI 和高精地图。一是全景图片数据,二是汽车姿态数据。 关于图片数据,地图采集车采集到的是360度全景数据,但考虑到数据量太大,本次数据集中的数据是截取正前方320*320分辨率的图片,且图片下方与车头相切。 关于汽车姿态数据,主要公开了当前行驶速度,以及行驶轨迹的曲率。速度即为当前t0时刻的数据,分Vx和Vy两个分原创 2017-01-11 16:27:51 · 2391 阅读 · 8 评论 -
ORB-SLAM: A Versatile and Accurate Monocular SLAM Syetem 讲解 1
摘要介绍相关工作地点识别地图初始化单目的SLAM系统概述特征选择三线程结构点云关键帧的选取covisibility graph和essential graphDBoW2对该论文进行讲解,同时看看自己有什么不懂的地方。摘要ORB-SLAM是一种基于特征的稀疏法的视觉SLAM,它不仅仅可以用于单目,还可以用于双目、RGBD(其实能够用于单目的一般都能够用于双目,单目的做法就是把连续原创 2017-01-11 22:59:18 · 5939 阅读 · 4 评论 -
ORB-SLAM代码详解之代码框架
工具篇ORB-SLAM的代码框架转载请注明出处:http://blog.csdn.net/c602273091/article/details/54428693工具篇在看代码方面,有不少软件推荐。我觉得首推还是得Understand【1】,这个工具可以把代码的流程图、依赖关系、整个框架给描述出来。有钱的话,买正版。其次的话,我推荐SourceInsight。这个工具比较方便看出你的类的定义。我在原创 2017-02-08 21:31:51 · 7868 阅读 · 7 评论 -
ORB-SLAM代码详解之SLAM系统初始化
systemhsystemc的SystemSystemsystem.h这里包含了整个SLAM系统所需要的一起,通过看这个文件可以对ORB-SLAM系统有什么有一个大概的了解。不过之前我们需要对于多线程了解一些基本的东西——信号量【1】和多线程【2】。具体注释如下:/*** This file is part of ORB-SLAM2.** Copyright (C) 2014-2016 Ra原创 2017-02-08 23:15:54 · 9226 阅读 · 1 评论 -
ORB: an efficient alternative to SIFT or SURF
介绍FAST关键点rBRIEF描述子介绍目前SIFT特征准确度高,但是计算复杂度也高。很多时候需要用到匹配、追踪什么的,使用SIFT就比较慢。本文作者提出了ORB(Oriented FAST and Rotation BRIEF)特征。ORB有个特点是这个特征没有申请专利,另外这种特征的好处是:给FAST检测子方向和快速计算;高效计算带有方向的BRIEF特征关键点(keypoint 就是图原创 2017-02-20 10:13:12 · 3415 阅读 · 0 评论 -
ifstream读取文件和stringstream读取内容
例子一例子二使用ifstream读取文件,使用stringstream根据空白切割字符串。例子一char str_name[30]; sprintf(str_name, "%06d.txt", IndFrame); string str_name2(str_name); string file_path = "/home/ychen/ORB_SLAM2/dataset/k原创 2017-02-28 23:05:16 · 6537 阅读 · 0 评论 -
格式化读取文件\303. Range Sum Query - Immutable
解决问题:有一个txt文件,文件每一行都是格式化的数据,所以现在需要把txt的数据读取出来。注意读到最后会有一个空行,所以需要判断是否读取。代码实现:使用sscanfchar str_name[30]; sprintf(str_name, "%06d.txt", IndFrame); string str_name2(str_name); string file_path =原创 2017-03-01 13:40:06 · 1639 阅读 · 0 评论 -
ORB-SLAM代码详解之SLAM.TrackMonocular
总述TrackMonocularmpTracker-GrabImageMonocularFrameExtractORBComputePyramidComputeKeyPointsOctTreeDistributeOctTreecomputeDescriptorscomputeOrientationTrack转载请注明出处:http://blog.csdn.net/c6022730原创 2017-02-09 22:46:57 · 8837 阅读 · 5 评论 -
哈希表(Hash Table)原理及其实现
原理介绍哈希函数构造冲突处理举例拉链法hash索引跟B树索引的区别实现原理介绍哈希表(Hash table,也叫散列表), 是根据关键码值(Key value)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。哈希表hash table(key,value) 的做法其实很简单,就是把K原创 2017-01-31 10:24:20 · 49416 阅读 · 1 评论 -
Pangolin 安装及其使用
安装使用特性Pangolin是对OpenGL进行封装的轻量级的OpenGL输入/输出和视频显示的库。可以用于3D视觉和3D导航的视觉图,可以输入各种类型的视频、并且可以保留视频和输入数据用于debug。安装安装的链接是Pangolin的地址【1】安装的命令照着上面敲就好,如果一次没装好,就装第二次,有时候会因为硬件或软件比较差然后出现错误没有装好,那就装第二遍。如果遇到问题的话,可以参考一下这原创 2017-03-23 11:25:30 · 29977 阅读 · 1 评论 -
RAM: Recurrent Models of Visual Attention 学习笔记
论文解析Torch代码Glimpse Networkhidden layerlocatorattention networkAgentparameter settingTF实践论文解析看了论文【1】和博客【9】【10】,我对RAM进行总结。要看懂这篇论文,需要强化学习中的policy-based learning和RNN的相关知识。如果对policy gra原创 2018-01-14 21:32:00 · 8815 阅读 · 10 评论