2017年07月_BlackEyes_SY

11月 09月 08月 07月 06月 04月 03月

原创如何避免梯度爆炸梯度消失

以sigmoid函数为例子，sigmoid函数使得输出在[0,1]之间。事实上x到了一定大小，经过sigmoid函数的输出范围就很小了，参考下图如果输入很大，其对应的斜率就很小，我们知道，其斜率（梯度）在反向传播中是权值学习速率。在深度网络中，如果网络的激活输出很大，其梯度就很小，学习速率就很慢。假设每层学习梯度都小于最大值0.25，网络有n层，因为链式求导的原因，第一层的梯度

2017-07-30 15:31:49 8607

原创 BN

Batch Normalization是由google提出的一种训练优化方法。参考论文：Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift BN层的作用是加快网络学习速率 Normalization是数据标准化（归一化，规范化），Batch 可以理解为批量

2017-07-30 15:17:52 2034

原创 LRN

LRN全称为Local Response Normalization，即局部响应归一化层，具体实现在CAFFE_ROOT/src/caffe/layers/lrn_layer.cpp和同一目录下lrn_layer.cu中。该层需要参数有：norm_region：选择对相邻通道间归一化还是通道内空间区域归一化，默认为ACROSS_CHANNELS，即通道间归一化；local_si

2017-07-24 16:44:51 14011

原创插值算法分类

可以粗略的将插值算法分为传统插值、基于边缘的插值和基于区域的插值3类 1.传统差值原理和评价邻插值：优点：较简单，容易实现。缺点：该方法会在新图像中产生明显的锯齿边缘和马赛克现象。双线性插值法：优点：具有平滑功能，能有效地克服邻法的不足。缺点：会退化图像的高频部分，使图像细节变模糊。高阶插值：如双三次和三次样条插值，在放大倍数比较高时，比低阶插值效果好。这些插

2017-07-14 17:55:43 6831

keras_face_recognition_cnn

keras_face_recognition_cnn 利用深度学习网络、keras框架进行人脸识别，训练、验证、测试，最后loss、准确率输出，详细的注释

2019-01-23

inception-resnet-v2 protxt caffemodel

inception-resnet-v2网络，caffe框架，图片分类，训练及验证protxt及caffemodel

2019-01-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 如何避免梯度爆炸梯度消失