深度学习
文章平均质量分 78
懒人元
欢迎关注我的微信公共号:懒人学AI (lanren_ai)
展开
-
Torch实现ReQU,和梯度验证
重写函数我们使用torch实现我们自己的ReQU模块。在实现一个新的layer之前,我们必须了解,我们并非重写forward和backward方法,而是重写里面调用的其他方法。 1)重新updataOutput方法,从而实现forward方法。 2)重写updataGradInput方法实现部分backward,计算loss函数相对于layer输入的导数,dloss/dx, 根据loss函数相对原创 2016-01-10 23:39:37 · 4927 阅读 · 0 评论 -
DetNet 解析
使用FPN等训练的缺点:1)传统的ResNet或者VGG的stride等于32,按照每次输入图片的尺度减少2来计算,有5个stage(P1-P5),而FPN中存在P6,RetinaNet中存在P6和P7,而P6和P7是没有被预训练过的。(然而P6和P7已经对任务很敏感了,还需要预训练么,会不会多余?)2)对于大物体的回归相对弱一些,在FPN等物体检测网络中,大物体是在比较深的特征图上预测(因为深的...原创 2018-06-11 01:27:45 · 14987 阅读 · 11 评论 -
ResNetV2:ResNet深度解析
ResNet残差网络,想必大家一定很熟悉了,那么先考考大家,下面(1)-(5)的结构哪个是我们常用的ResNet结构? 其中weight指conv层,BN指Batch Normalization层,ReLU指激活层,addition指相加; 根据ResNet的描述,似乎以上五组都符合,那么2016年ResNet原文是哪一个结构呢?以及其他四组结构也都work么?我们不禁有了这两个疑问,伴随着原创 2018-05-09 01:02:01 · 24392 阅读 · 11 评论 -
RPN 解析
RPN全称是Region Proposal Network,Region Proposal的中文意思是“区域选取”,也就是“提取候选框”的意思,所以RPN就是用来提取候选框的网络;1. RPN的意义RPN第一次出现在世人眼中是在Faster RCNN这个结构中,专门用来提取候选框,在RCNN和Fast RCNN等物体检测架构中,用来提取候选框的方法通常是Selective Se原创 2017-01-12 11:10:09 · 100843 阅读 · 107 评论 -
ROI Pooling层解析
ROI Pooling的意义ROIs Pooling顾名思义,是Pooling层的一种,而且是针对RoIs的Pooling,他的特点是输入特征图尺寸不固定,但是输出特征图尺寸固定;什么是ROI呢?ROI是Region of Interest的简写,指的是在“特征图上的框”;1)在Fast RCNN中, RoI是指Selective Search完成后得到的“候选框”在特征图上的映射原创 2017-03-03 21:19:43 · 111897 阅读 · 29 评论 -
ResNet解析
ResNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域都纷纷使用ResNet,Alpha zero也使用了ResNet,所以可见ResNet确实很好用。 下面我们从实用的角度去看看ResNet。1.ResNet意义随着...原创 2018-01-14 18:04:00 · 352238 阅读 · 99 评论 -
Softmax层解析
这里我们简单介绍一下Caffe是如何实现Softmax层的,通常我们使用的是SoftmaxWithLossLayer,这里我们仅仅讲讲Caffe的SoftmaxLayer定义输入 在Caffe的世界里,每一层的输入叫做Bottom,输出叫做Top,而Caffe的Forward就是通过Bottom计算Top的过程,而Backward这是通过Top_diff计算Bottom_diff的过程。我们原创 2017-07-18 21:40:01 · 4143 阅读 · 0 评论 -
使用Torch nngraph实现LSTM
什么是RNN RNN:多层反馈RNN(Recurrent neural Network、循环神经网络)神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的输入序列,这让它可以更容易处理如不分段的手写识别、语音识别等。——百度百科下面我们看看抽象出来的RNN的公式: ht=θϕ(ht−1)+θx原创 2016-01-29 23:17:01 · 8751 阅读 · 4 评论 -
Torch中optim的sgd(Stochastic gradient descent)方法的实现细节
Torch中optim的sgd(Stochastic gradient descent)方法的实现细节Overviewsgd的全称是Stochastic gradient descent,关于Stochastic gradient descent我们不在本文详述。 Stochastic gradient descent https://en.wikipedia.org/wiki/Stochast原创 2015-12-26 18:02:11 · 13037 阅读 · 0 评论 -
YOLO V2解析
YOLO V2是YOLO系列的第二版,在YOLO V1的基础上加以改进,改善了YOLO V1定位不准的问题,又保证了检测的速度,可谓集准确性与速度于一身(YOLO V2获得了CVPR2017的最佳论文提名)。YOLO V2的原文提出了两个模型:YOLO V2和YOLO9000,本文主要着重YOLO V2,下面让我们一同走进YOLO V2的世界。Outlines:YOLO V2 vs V1;...原创 2018-09-24 00:03:25 · 4776 阅读 · 20 评论