![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
威小廉
这个作者很懒,什么都没留下…
展开
-
学习率与batch-size大小的关系
近日训练的电脑从一个显卡升级到了4张显卡,这就意味着能够更快的训练速度,但是实际中,并不是这样的。多卡意味着可以使用大点的batch-size,这样子会导致每个epoch收敛的更慢了,虽然说速度变快了,但是更新次数变少了,所以收敛的更慢了。因此应该增大学习率,来保证每一个epoch更新的差不多!!!!一般情况就是batch-size增大K倍,然后学习率增大K倍。。。。...原创 2019-11-16 17:04:00 · 5905 阅读 · 3 评论 -
关于深度学习中concat和eltwise两种特征融合方式用处的猜想
在对网络不同地方的特征进行融合时,尤其是在深层网络融合浅层网络的特征的时候我们需要用到这两种融合方式,这两者的使用有有什么区别吗?在实际中,直接使用eltwise将当前的深层特征与浅层的特征融合时效果并不好,应该在eltwise前加若干层网络增加非线性,而不能直接使用浅层的特征。concat可以直接使用浅层的特征进行concat,这应该是因为eltwise要将特征相加,分布不同的特征相加对...原创 2019-11-06 17:13:53 · 2992 阅读 · 0 评论 -
残差网络模型
1、原始残差网络最基本的残差块。中间的两层神经网络学习输入输出之间的残差,而旁边的链接就像一个高速公路,使得反向传播算法中的残差能通过这条路传到前边去。当网络变深时可以使得中间的输出为0,那么网络就能自适应的变成一个浅一点的网络。左边basic block 这个模块就只有两层,是最基本的残差模块。在res18中就使用这种。右边的叫做Bottleneck block,其像一个瓶...原创 2019-10-22 17:10:31 · 3473 阅读 · 0 评论 -
深度学习中的resize
最近在做目标检测时发现一些框架在进行图像预处理时对图像resize时方法不一样。主要有两种resize方式:第一种,直接resizecaffe-ssd和darknet(https://github.com/AlexeyAB/darknet) 采用的是直接resize,就是不保证原始图像的长宽比。第二种,letterbox_image()原始的darknet,几个pytorch的...原创 2019-09-16 14:32:04 · 2026 阅读 · 0 评论