![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习理论
夕何
希望强人工智能早日到来,为此你我都需努力。
展开
-
batch normalization 中的 beta 和 gamma参数
最近从caffe转到tensorflow,突然发现batch normalization 参数变多了,于是本着遇到什么问题解决什么问题的原则,去搜了搜怎么回事。CaffeCaffe中的BN层参数:message BatchNormParameter { // If false, normalization is performed over the current mini-batch //原创 2017-09-20 21:07:41 · 14756 阅读 · 0 评论 -
GoogLeNet inception v3 到底有多少参数?
由于工作需要,对inception v3的参数量进行了仔细的考察,为了提高有类似情况的人的效率,故将考察结果整理好放到了。其结果如下表所示(统计的参数并不包含偏置,因为偏执没有影响,原因请戳这里)。参数量列表 层 参数量 conv0 864 conv1 9216 conv2 18432 conv3 5120 conv4 138240 256a 2原创 2017-11-03 15:10:59 · 8283 阅读 · 4 评论 -
GoogLeNet inception v2 到底有多少参数?
由于工作需要,对inception v2的参数量进行了仔细的考察,为了提高有类似情况的人的效率,故将考察结果整理好放到了这里。其结果如下表所示(统计的参数并不包含偏置,因为偏执没有影响,原因请戳这里)。参数量列表 层 参数量 conv1 9408 conv2 114688 inception-3a 218094 inception-3b 259072 inc原创 2017-11-03 14:58:54 · 3029 阅读 · 1 评论 -
当卷积层后跟batch normalization层时为什么不要偏置b
起因之前使用的是inception-v2模型,在v2中,标准的卷积模块为: conv_w_b->bn->relu->poolingconv_w_b->bn->relu->pooling 即,在v2中,尽管在卷积之后、激活函数之前大量使用batch normalization,但是卷积层依然使用可学习的偏置参数。这也比较符合我的直观理解,因为偏置在一般的卷积神经网络中本来就是很重要的,可以让超判决原创 2017-09-20 23:08:10 · 15956 阅读 · 16 评论