深度学习
Fm镄
这个作者很懒,什么都没留下…
展开
-
目标检测候选框的生成:选择性搜索
转载自:https://blog.csdn.net/u010402786/article/details/78051647滑动窗口算法/Sliding Window Algorithm 在滑动窗口方法中,我们在图像上滑动一个框或窗口来选择一个区域,并使用目标识别模型对窗口覆盖的每个图像块进行分类。这是一个穷尽搜索整个图像的对象。我们不仅需要搜索图像中所有可能的位置,还得在不同的尺度上搜...转载 2019-11-03 17:55:13 · 3495 阅读 · 1 评论 -
Faster RCNN系列算法演变历程(一)
前言RCNN--->SPPNet--->Fast-RCNN---->Faster-RCNNFaster RCNN是two stage算法的代表之一,在Faster RCNN提出前作者依次提出了RCNN,Fast RCNN这样一系列的深度学习的目标检测算法,这一过程也是作者对深度学习目标检测算法的不断完善,一直到Faster RCNN才完整的设计出了一个从图像端到检测目标的...原创 2019-11-01 22:08:16 · 1192 阅读 · 0 评论 -
SSD系列算法的优化和扩展笔记
DSSDSSD算法对小目标不够鲁棒的最主要的原因是浅层feature map的表征能力不够强。由此进行以下的改进:加入上下文信息 更好的基础网络(ResNet)和Deconvolution层,skip连接来给浅层feature map更好的表征能力DSOD:在改进深度学习目标检测算法模型时,通常会强调不同组件的优化和改进。对于很多算法都会在训练时都会采用预训练模型作为初始化。而...原创 2019-10-29 20:51:37 · 612 阅读 · 0 评论 -
RefineDet翻译版
论文:Single-Shot Refinement Neural Network for Object Detection论文链接:https://arxiv.org/abs/1711.06897代码链接:https://github.com/sfzhang15/RefineDetAbstract 对于物体检测,两阶段方法(例如,Faster R-CNN)已达到最高的精度,一阶...原创 2019-06-19 20:47:37 · 1011 阅读 · 0 评论 -
知识蒸馏网络(Distilling the Knowledge in Neural Network)
Distilling the Knowledge in Neural NetworkGeoffrey Hinton, Oriol Vinyals, Jeff Deanpreprint arXiv:1503.02531, 2015NIPS 2014 Deep Learning Workshop简单总结主要工作(What)“蒸馏”(distillation):把大网络的知识压缩成小网...转载 2019-04-13 20:28:17 · 1653 阅读 · 0 评论 -
Spatial Transformer Networks(空间变换网络)论文解读
转载自:https://www.cnblogs.com/liaohuiqiang/p/9226335.html论文来源:2015, NIPSMax Jaderberg, Karen Simonyan, Andrew Zisserman, Koray KavukcuogluGoogle DeepMind为什么提出(Why)一个理想中的模型:我们希望鲁棒的图像处理模型具有空间不变性,...转载 2019-04-10 09:46:56 · 475 阅读 · 0 评论 -
Deformable Convolutional Networks v2 可变形卷积v2版翻译
AbstractThe superior performance of Deformable Convolutional Networks arises from its ability to adapt to the geometric variations of objects.可变形卷积网络的优越性能源于其对目标几何变化的适应能力Through an examination of...原创 2019-04-12 21:58:21 · 3681 阅读 · 0 评论 -
LRN ( Local Response Normalization) 局部响应归一化层
LRN ( Local Response Normalization) 局部响应归一化层·首先在弄懂原理之前,希望读者能够认真的看两遍公式,而不是直接看别人解释的原理·是归一化后的值,i是通道的位置,代表更新第几个通道的值,x与y代表待更新像素的位置。·是输入值,是激活函数Relu的输出值·k、alpha、beta、n/2 都是自定义系数,读者可以先不用理会有什么用总结的来说,是对...转载 2019-04-11 09:24:24 · 159 阅读 · 0 评论 -
one stage目标检测算法介绍
使用CNN卷积特征,进行特征抽取。直接回归物体的类别概率和位置坐标(无RPN网络)准确度低/速度相对two stage快one stage 基本流程one stage 目标检测算法在给定输入后,会通过一个主干网络完成特征的抽取,然后会直接进行区域的回归以及目标的分类。相对于two stage最大的区别就是是否包含了候选区域推荐的过程,流程上更加简单,速度更快。One sta...原创 2019-06-22 10:11:58 · 2119 阅读 · 0 评论 -
one stage 与 two stage 对比
One stage VS Two stageone stage:优点速度快 避免背景错误,产生false positives,也就是说误检率很低 能够学到物体的泛化特征缺点精度低(定位、检出率) 小物体的检测效果不好two stage:优点精度高(定位、检出率) Anchor机制 共享计算量缺点速度慢 训练时间长 误报高...原创 2019-07-01 18:34:15 · 1943 阅读 · 1 评论 -
one-stage检测算法负样本淹没问题
1.什么是“类别不平衡”呢?详细来说,检测算法在早期会生成一大波的bbox。而一幅常规的图片中,顶多就那么几个object。这意味着,绝大多数的bbox属于background。2.“类别不平衡”又如何会导致检测精度低呢?因为bbox数量爆炸。正是因为bbox中属于background的bbox太多了,所以如果分类器无脑地把所有bbox统一归类为background,accurac...转载 2019-06-22 10:22:27 · 201 阅读 · 0 评论 -
two-stage目标检测算法介绍
综述two-stage是基本深度学习的目标检测算法的一种。主要通过一个完整的卷积神经网络来完成目标检测过程,所以会用到的是CNN特征,通过卷积神经网络提取对候选区域目标的特征的描述。典型的代表:R-CNN到faster RCNN。如果不考虑two-stage方法需要单独训练RPN网络这一过程,可以简单的广义的理解为端到端的过程。但不是完全的端到端,因为训练的整个网络过程中需要两个步骤:1.训练...原创 2019-06-18 21:01:44 · 12601 阅读 · 0 评论 -
传统目标检测算法基本流程
传统目标检测算法基本流程首先给定一张待检测图片,然后对这张图片进行候选框的提取。候选框的提取通常采用滑动窗口的方法进行,接下来对每个窗口中的局部信息进行特征提取(通常采用一些经典的计算机视觉模式识别中的算法,包括:基于颜色、基于纹理、基于形状的方法,以及一些中层次或高层次语义特征的方法,这些方法有些是需要学习得到的。如:抽取基本的直方图特征,常见的纹理特征)计算机视觉中常见的特征提...原创 2019-06-27 18:49:13 · 16028 阅读 · 0 评论 -
tf.nn.softmax_cross_entropy_with_logits详解
转载自:https://blog.csdn.net/yhily2008/article/details/802623211.什么是logits?说到Logits,首先要弄明白什么是Odds?在英文里,Odds的本意是指几率、可能性。它和我们常说的概率又有什么区别呢?在统计学里,概率(Probability)描述的是某事件A出现的次数与所有事件出现的次数之比:P(A) = 发生事...转载 2019-07-25 16:21:47 · 3734 阅读 · 0 评论 -
SSD系列算法原理
·主干网络:VGGNet·多尺度FeatureMap预测·Defaul bounding boxes的类别分数、偏移量主干网络介绍:VGG、ResNet、MobileNets等,各种卷积神经网络 将VGG最后两个FC改成卷积,并增加4个卷积层:(因为原始的网络是处理分类任务,而目标检测不需要)多尺度FeatureMap预测:不同层的feature map Prior ...原创 2019-10-29 15:42:54 · 313 阅读 · 0 评论 -
GRU神经网络
转载自:https://blog.csdn.net/wangyangzhizhou/article/details/77332582GRU是什么GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而提出了LSTM,而GRU则是LSTM的一个变体,当然LSTM还有有很多其他的变体。GRU保持了LSTM的效果同时又使结构更加简单,所以它也非常流行。...转载 2019-10-10 10:20:32 · 2061 阅读 · 0 评论 -
机器学习中 L1 和 L2 正则化
---------------------作者:红色石头Will来源:CSDN原文:https://blog.csdn.net/red_stone1/article/details/80755144版权声明:本文为博主原创文章,转载请附上博文链接!------------------------------------------------------------------...转载 2019-04-03 15:48:55 · 229 阅读 · 0 评论 -
Deformable Convolutional Networks v2 可变形卷积v2论文理解(更新中)
本论文的翻译版可以参考我的这篇博客:https://blog.csdn.net/weixin_39568744/article/details/89218635知识栈在阅读这篇论文时遇到了很多知识盲区和疑惑,所以途中阅读了很多其他论文和文章。现将其中感觉不错的记录如下:知识蒸馏网络:https://www.cnblogs.com/liaohuiqiang/p/9170582.html...原创 2019-04-15 20:36:02 · 2277 阅读 · 0 评论 -
深度学习中的线性代数基础
本文主要总结一些在深度学习领域中比较重要的线性代数基础,过于基础的内容没有进行总结。一.张量(tensor):在深度学习领域,很多时候数据都是高于二维的,因此,需要一种能够表示任意维度的数据类型,这就是张量。二.范数(Norm):范数是数学中的一种基本概念,在泛函分析中,范数是一种定义在赋范线性空间中的函数,满足相应条件后的函数都可以被称为范数。下面主要介绍向量范数和矩阵范数并给出常用的几...原创 2018-07-31 15:21:26 · 1349 阅读 · 0 评论 -
总结全连接层,卷积层,池化层等。。各自的作用
全连接层到底什么用?来自链接:https://www.zhihu.com/question/41037974/answer/150522307全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使...转载 2018-08-31 08:54:54 · 59179 阅读 · 8 评论 -
矩阵求导法则
转载自:https://blog.csdn.net/dinkwad/article/details/72819832矩阵求导的技术,在统计学、控制论、机器学习等领域有广泛的应用。鉴于我看过的一些资料或言之不详、或繁乱无绪,本文来做个科普,分作两篇,上篇讲标量对矩阵的求导术,下篇讲矩阵对矩阵的求导术。本文使用小写字母x表示标量,粗体小写字母xx 表示向量,大写字母X表示矩阵。首先来琢磨一下定...转载 2018-09-11 16:07:41 · 24768 阅读 · 0 评论 -
BoundingBox边框回归
//转载//Bounding-Box regression最近一直看检测有关的Paper, 从rcnn, fast rcnn, faster rcnn, yolo, r-fcn, ssd,到今年cvpr最新的yolo9000。这些paper中损失函数都包含了边框回归,除了rcnn详细介绍了,其他的paper都是一笔带过,或者直接引用rcnn就把损失函数写出来了。前三条网上解释比较多,后面的两...转载 2018-12-18 16:18:38 · 247 阅读 · 0 评论 -
查全率、查准率与F1
一开始接触查全率和查准率时遇到一个想不明白的地方:查准率和查全率是一对矛盾的度量。一般来说查准率高时,查全率往往偏低;反之同理。 可是为什么就不能两个都高呢?为了解决这个疑惑,决定还是记录一下原本感觉没必要记录的相关的知识。。。。。首先呢,举一个例子。在信息检索中,我们常常关心“检索出得信息中有多少比例是用户感兴趣的”“用户感兴趣的信息中有多少被检索出来了”。查准率(precision...原创 2019-03-08 15:06:18 · 6021 阅读 · 7 评论 -
训练集和测试集的划分方法
当我们只有一个包含m个样例的数据集D={(x1,y1),(x2,y2),...,(xm,ym)},既要训练又要测试,怎样才能做到呢?答案是对D进行适当的处理,从中产生出训练集S和测试集T,下面介绍几种常见的方法。(内容来自西瓜书)1.流出法留出法(hold-out)直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T。在S上训练出模型后,用T来评估其测试误差,...原创 2019-03-07 21:07:57 · 22261 阅读 · 2 评论 -
调参与最终模型
----------------------记录自西瓜书 大多数学习算法都有些参数需要设定,参数配置不同,学得模型的性能往往有显著差别。因此,在进行模型评估与选择时,除了要对适用学习算法进行选择,还需要对算法参数进行设定,这就是通常所说的“参数调节”。 我们可能马上就想到,调参和算法选择没什么本质区别:对每种参数配置都训练出模型,然后把对应最好模型的参数作为结果。这样的考虑基本时正确的...原创 2019-03-08 11:10:33 · 410 阅读 · 0 评论 -
深度学习中得Xaiver初始化
转载自:https://www.cnblogs.com/hejunlin1992/p/8723816.html“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》。 文章主要的目标...转载 2019-03-25 09:46:20 · 541 阅读 · 0 评论 -
ReLu的理解
转载自:https://blog.csdn.net/qq_20909377/article/details/79133981ReLU上的花样CNN出现以来,感觉在各个地方,即便是非常小的地方都有点可以挖掘。比如ReLU。ReLU的有效性体现在两个方面:克服梯度消失的问题 加快训练速度而这两个方面是相辅相成的,因为克服了梯度消失问题,所以训练才会快。ReLU的起源,在这片博...转载 2019-03-26 16:17:25 · 1108 阅读 · 0 评论 -
在线深度学习:在数据流中实时学习深度神经网络
在线深度学习的主要困难是模型的容量、复杂度等设置很不灵活,即模型是静态的,而数据流是动态的。本论文提出了一种适应性的网络框架,结合 HBP 算法,使网络结构能随着数据的流入而逐渐扩展、复杂化。这使得模型同时拥有在线学习和深度学习的优点,并在多种在线学习模型和数据集的对比实验中都取得了当前最佳结果。近年来,我们见证了深度学习技术在很多应用中的巨大成功。学习深度神经网络面临着很多挑战,包括但不限...转载 2019-03-26 19:51:56 · 914 阅读 · 0 评论 -
深入理解Batch Normalization批标准化
转载自:https://www.cnblogs.com/guoyaohua/p/8724433.htmlBatch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因,但是实践证明好用才是真的好,别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论...转载 2019-03-27 10:28:58 · 170 阅读 · 0 评论 -
为什么CNN可以自动提取图像特征???
转载自:http://www.algorithmdog.com/cnn-extracts-feat?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io1.介绍在大部分传统机器学习场景里,我们先经过特征工程等方法得到特征表示,然后选用一个机器学习算法进行训练。在训练过程中,表示事物的特征是固...转载 2019-04-01 10:48:19 · 2355 阅读 · 0 评论 -
为什么CNN可以自动提取图像特征???(2)
作者:electech6来源:CSDN原文:https://blog.csdn.net/electech6/article/details/845847911.卷积操作假设有一个55的图像,使用一个33的卷积核(filter)进行卷积,得到一个3*3的矩阵(其实是Feature Map,后面会讲),如下所示:下面的动图清楚地展示了如何进行卷积操作(其实就是简单的点...转载 2019-04-01 10:52:33 · 1858 阅读 · 2 评论 -
RoI Pooling详解
目标检测architecture通常可以分为两个阶段:(1)region proposal:给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置的bounding box。这些通常称之为region proposals或者 regions of interest(ROI),在这一过程中用到的方法是基于滑窗的方式和selective sear...转载 2019-04-11 09:23:15 · 7514 阅读 · 3 评论 -
ROI Pooling代码原理详细解释和存在目的
ROIs Pooling顾名思义,是pooling层的一种,而且是针对ROIs的pooling;整个 ROI 的过程,就是将这些 proposal 抠出来的过程,得到大小统一的 feature map。什么是ROI呢?ROI是Region of interest的简写,指的是faster rcnn结构中,经过rpn层后,产生的proposal对应的box框。所以ROI就是指矩形框,往...转载 2019-04-11 10:09:27 · 1540 阅读 · 2 评论 -
Deformable Convolutional Networks 可变形卷积
AbstractConvolutional neural networks (CNNs) are inherently limited to model geometric transformations due to the fixed geometric structures in their building modules. 卷积神经网络由于它内部固定的几何结构,所以对模型的几何变...原创 2019-04-11 19:46:40 · 352 阅读 · 0 评论 -
知识蒸馏(Knowledge Distillation)
1、Distilling the Knowledge in a Neural NetworkHinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏(暗知识提取)的概念,通过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)作为total loss的一部分,以诱导学...转载 2019-04-11 21:17:16 · 973 阅读 · 0 评论