Deeplearning
文章平均质量分 84
Turtlelin007
这个作者很懒,什么都没留下…
展开
-
深度学习归一化方法[二] Normalization方法对比
文章目录Normalization 方法对比1 BN方法的不足之处2 独立于batch 的归一化方法3 Group Normalization4 四种方法效果比较论文:https://arxiv.org/pdf/1803.08494.pdfNormalization 方法对比1 BN方法的不足之处BN的不足根源在于测试时使用的两个在训练阶段时维护的参数,均值μB\mu_{\mathcal{...原创 2019-05-19 12:32:03 · 1553 阅读 · 1 评论 -
Softmax公式及梯度计算
softmax是一个多分类器,可以计算预测对象属于各个类别的概率。公式yi=S(z)i=ezi∑j=1Cezj,i=1,...,Cy_i=S(\boldsymbol{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{C}e^{z_j}},i=1,...,Cyi=S(z)i=∑j=1Cezjezi,i=1,...,Cz\boldsymbol{z}z是上一层的输...原创 2019-07-11 23:09:16 · 13290 阅读 · 0 评论 -
Mask R-CNN结构细节回顾
文章目录Mask R-CNNDataset**输入数据的格式**网络结构**总体结构****Backbone****RPN****ROI Head**急急如律令!offer速来见我!Mask R-CNNDataset输入数据的格式读入COCO标注格式的标注文件,可以得到图片及对应的标注。标注的数据格式如下:输入网络的targets:batch为2,因此targets长度为2...原创 2019-07-11 20:09:01 · 7425 阅读 · 5 评论 -
ROI Pooling 与 ROI Align 计算示例图解
ROI Pooling 与 ROI Align假设原图尺寸大小为256×256,预测ROI的坐标为(6.4, 12.8, 153.6, 172.8),特征图大小为8×8。现在要将ROI池化成3×3大小。我们来对比一下Roi pooling 和 ROI Align的区别。将ROI区域映射到特征图上对于ROI pooling而言,计算出来的坐标要取整,结果为(1,1,4,5),此处进行了第一次量...原创 2019-06-22 19:49:14 · 3781 阅读 · 10 评论 -
分类网络 DenseNet
DenseNet论文:Densely Connected Convolutional NetworksDenseNet是在ResNet之后的一个分类网络,连接方式的改变,使其在各大数据集上取得比ResNet更好的效果.网络结构以DenseNet-121为例,介绍网络的结构细节.网络结构一开始与ResNet类似,先进行一个大尺度的卷积,再接一个池化层;随后接上连续几个子模块(Dense ...原创 2019-05-28 16:59:55 · 861 阅读 · 1 评论 -
深度学习归一化方法[一] Batch Normalization
文章目录Batch Normalization1. Batch Normalization原理2. Batch Normalization的效果及其证明3. 为什么要加$\gamma$,$\beta$论文: https://arxiv.org/pdf/1502.03167.pdfBatch Normalization对模型的初始输入进行归一化处理,可以提高模型训练收敛的速度;对神经网络内层的...原创 2019-05-18 20:59:39 · 1348 阅读 · 2 评论 -
分类网络 ResNeXt
文章目录分类网络ResNeXt思路来源多分支的通用表达多分支模块的设计与等效表达对比ResNet小结分类网络ResNeXtResNeXt是在ResNet之后进一步提出的分类网络,看它的名字就知道了.ResNeXt,可以看成ResNet和Next,果然写文章的都是一群取名鬼才.论文:Aggregated Residual Transformations for Deep Neural Net...原创 2019-05-27 11:29:08 · 1153 阅读 · 1 评论 -
深度学习优化算法
文章目录深度学习优化算法1梯度下降算法的三个变种Batch gradient descentStochastic gradient descent(SGD)Mini-batch gradient descent2 梯度下降算法的痛点3 各种梯度下降算法MomentumNesterov accelerated gradientAdagradAdadeltaRMSpropAdam4 如何挑选优化器深...原创 2019-05-17 12:07:02 · 622 阅读 · 6 评论