深度学习的那些坑
文章平均质量分 94
主要记录一些自己在学习过程中的一些收获以及一些踩过的大坑,希望各位小伙伴不要被坑了哈!
阿华Go
做一个有责任心有上进心的汉子,我要肩负起守护家人的重任!!!
展开
-
CNN中的小tips(2)---batch normalization
问题:Internal Covariate Shift: 1)描述: 普遍理解:Internal Covariate Shift(内部协方差偏移):随着网络的进行,网络中的参数也随着梯度不停更新。一方面,当底层网络中的参数发生微弱变化时,由于每一层中的线性变换和非线性激活映射,这些微弱的变化随着网络层数的加深而被逐级放大(类似蝴蝶效应);另一方面,参数的变化导致每一层的输入分布会发生改变,...原创 2018-04-15 18:33:36 · 2169 阅读 · 0 评论 -
batchNorm解析
转载:基础 | batchnorm原理及代码详解 Batchnorm原理详解 前言:Batchnorm是深度网络中经常用到的加速神经网络训练,加速收敛速度及稳定性的算法,可以说是目前深度网络必不可少的一部分。 本文旨在用通俗易懂的语言,对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几个部分。Batchnorm主要解决的问题Batchnorm...转载 2018-03-22 15:06:27 · 2810 阅读 · 0 评论 -
CNN中的小tips
1)为什么使用两个3*3的卷积核而不是用5*5的卷积核呢?加深网络深度;减少所求解的参数个数。 例如我们共有20个3*3的卷积核,将其分为两层,然后有20个5*5的卷积核,将其保持一层,经过两层3*3或者一层5*5之后得到的大小一致,那么为什么我们在卷积核个数相同的情况下更喜欢采用两层3*3而不是一层5*5呢,答案就在与在加深网络深度的同时还可以减少计算的网络参数!两层3*3卷积核计...原创 2018-03-16 17:34:18 · 484 阅读 · 0 评论 -
FCN(全卷积网络)进行语义分割
建议大家在阅读本篇博客之前,首先看看这篇论文:A guide to convolution arithmetic for deep learning,仔细理解其中的反卷积操作,注意反卷积之后的通道个数以及对应还原出来的多维数组中代表图像大小的维度的取值范围,就可以很好地理解FCN是如何进行pixel-wise级别的分类任务了! FCN是一个end-to-end的网络,实现像素级别(pixel-w...原创 2018-03-16 11:52:24 · 2252 阅读 · 1 评论 -
卷积操作和反卷积操作的数学解释
预备知识:卷积运算: width:w filter_size:f padding:p stride:s new_width:n_wceil:向下取整运算 n_w=ceil((w-f+zp)/s)+1 反卷积运算: input:i filter_size:f padding:p stride:s output:oo=s(i-1)+f-2*p+a,(a=[0,1,…...转载 2018-03-14 11:55:35 · 3857 阅读 · 2 评论