2018年08月_donkey_1993

原创孪生网络Siamese Network发展历程

孪生网络又称为连体网络，网络中的连体是通过共享权值来实现。孪生网络最早是出现在1993年的论文《Signature Verification using a ‘Siamese’ Time Delay Neural Network》用于美国支票上的签名验证，即验证支票上的签名与银行预留签名是否一致。孪生网络是一种监督学习，用于度量学习。随后由于硬件的限制网络技术发展缓慢，几乎停滞不前。...

2018-08-30 14:45:59 8073

原创经典网络结构梳理：RCNN，FastRcnn，FasterRcnn目标检测

论文下载地址：RCNN：http://fcv2011.ulsan.ac.kr/files/announcement/513/r-cnn-cvpr.pdfFast RCNN：https://arxiv.org/abs/1504.08083Faster RCNN：https://arxiv.org/abs/1506.01497RCNN系列是应用最广泛的目标检测的算法。本章我们主要讲解一下R...

2018-08-22 17:00:14 9963 1

原创深度学习常见问题汇总。

1. 为什么输入数据需要归一化（Normalized Data）？归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数...

2018-08-20 15:50:50 1466

原创 BN(Batch Normalization) 原理与使用过程详解

论文名字：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift论文地址：https://arxiv.org/abs/1502.03167 BN被广泛应用于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过程中无法收敛，就添加了BN...

2018-08-20 15:47:07 81014 4

原创梯度消失，梯度爆炸产生的原因及解决办法

1.梯度消失和爆炸产生的原因：a）从网络深度来分析：在反向传播过程中需要对激活han函数进行求导，如果导数大于1，那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸。同样如果导数小于1，那么随着网络层数的增加梯度更新信息会朝着指数衰减的方式减少这就是梯度消失。因此，梯度消失、爆炸，其根本原因在于反向传播训练法则，属于先天不足。b）从激活函数来分析：前面a中提到的...

2018-08-18 13:21:50 22352

原创经典网络结构梳理：Resnet深度残差网络结构

说到深度学习一般网络结构越深网络的效果就会越好。因为越深的网络可以得到更多的语义信息。上图可以看出来随着网络结构的加深网络的分类，识别效果也就越好。事实是这样吗？人们对chan常规的网络直接堆叠很多层，经对图像jin进行检测，训练集，测试集的误差结果如下图：通过下图可以看出来随着网络的加深50层的效果要比20层的效果差很多。通过实验可以发现：随着网络层级的不断增加，模型精度不断得到...

2018-08-18 09:00:09 13252 4

原创激活函数中的硬饱和，软饱和，左饱和和右饱和。

假设h（x）是一个激活函数。1.当我们的n趋近于正无穷，激活函数的导数趋近于0，那么我们称之为右饱和。2.当我们的n趋近于负无穷，激活函数的导数趋近于0，那么我们称之为左饱和。当一个函数既满足左饱和又满足右饱和的时候我们就称之为饱和，典型的函数有Sigmoid，Tanh函数。3.对于任意的x，如果存在常数c，当x>c时，恒有=0，则称其为右硬饱和。如果对于任意的x，...

2018-08-14 10:26:50 9478 6

原创神经网络常见的激活函数汇总

1.激活函数的作用在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。比如在下面的这个问题中：如上图所示，这是一个简单的线性分类问题，只需要一条直线就可以很好地分类。当我们碰到下图问题时，无法通过一条直线将样本分类出来，需要我们加入非线性因素才可以将样本分类好，而我们的激活函数就是我们要加入的非线性因素。2.常见的激活函数...

2018-08-14 10:15:29 23634

原创 SVM支持向量机详解

SVM支持向量机是一个优秀的分类算法，用简单的原理构造了复杂的算法。本文将从SVM的基础开始讲：1.拉格朗日乘子法和KKT条件a) 拉格朗日乘子法：只要有拉格朗日乘子法的地方就有组合优化问题。带约束优化的问题：这是一个带等式约束优化问题，有目标值，有约束条件。假设没有约束条件我们应该如何求解：将x1,x2，x3分别求偏导，然后偏导为0，那么各个x都为0，f=0求得最小值...

2018-08-13 14:44:58 1509

原创经典网络结构梳理：Mobilenet网络结构

论文下载地址：https://arxiv.org/abs/1704.04861Caffe复现地址：https://github.com/shicai/MobileNet-CaffeMobilenet发布在2017年的CVPR。Mobilenet这篇论文是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，取名为MobileNets。个人感觉论文所做工作偏向于模型压缩方面，核...

2018-08-12 19:21:59 12723 1

原创经典网络结构梳理：YOLO目标检测算法。

论文下载地址：https://pjreddie.com/media/files/papers/yolo.pdfcaffe代码下载地址：https://github.com/yeahkun/caffe-yoloYOLO：You Only Look Once: Unified, Real-Time Object Detection 是发表在2016年的CVPR。YOLO基础版可以达到45帧/s...

2018-08-07 19:11:13 6658

在SSD算法中，每个feature map的像素点都会生成prior box，SSD通过prior box进而对feature map进行训练。文章中提到，SSD在训练过程中，prior box与GroundTruth的之间ROI 达到0.5才会放到网络里面进行训练。大的目标有可能ROI的值会大很多，因此包含的prior box就多，就可以得到充分的训练。相反小目标用于训练的的prior bo...

2018-08-06 21:43:31 10913 2

原创经典网络结构梳理：SSD目标检测算法。

论文下载地址：https://arxiv.org/abs/1512.02325论文代码：https://github.com/weiliu89/caffe/tree/ssdSSD全称：Single Shot MultiBox Detector 是2016年ICCV的一篇论文。是目前为止主要的目标检测算法。算法的主要优点：1. 速度比Faster-Rcnn快，精度比YOLO高。（在...

2018-08-06 21:20:57 29524 3

donkey_1993的博客