深度学习
学学没完
分享一些自己的学习总结,也分享一些优秀的博客链接,欢迎交流学习!
展开
-
CV领域常用的注意力机制模块(SE、CBAM)
CV领域常用的注意力机制模块(SE、SAM、CAM、CBAM)一、SE模块(Squeeze-and-Excitation)更详细内容推荐博客:最后一届ImageNet冠军模型:SENetSENet网络的创新点:在于关注channel之间的关系,希望模型可以自动学习到不同channel特征的重要程度。1、SE结构能说一说么?一个SEblock的过程分为 Squeeze(压缩) 和 Excitation(激发) 两个步骤:Squeeze(压缩) 通过在Feature Map层上执行Global原创 2020-06-03 17:10:42 · 47096 阅读 · 26 评论 -
模型大小、推理速度相关
模型参数量(Params)和模型每秒浮点运算速度(Flops)对卷积层而言Params量计算公式:(Kh∗Kw∗Cin)∗Cout(K_h*K_w*C_in )*C_out(Kh∗Kw∗Cin)∗CoutFlops计算公式:(Kh∗Kw∗Cin∗Cout)∗(Hout∗Wout)(K_h*K_w*C_in*C_out )*(H_out*W_out)(Kh∗Kw∗Cin∗Cou...原创 2020-04-24 13:54:50 · 1373 阅读 · 0 评论 -
炼丹Tricks相关博文收录(持续更新...)
如何理解深度学习分布式训练中的large batch size与learning rate的关系?原创 2020-04-01 14:35:54 · 179 阅读 · 0 评论 -
常见激活函数回顾总结
激活函数分类示意图**“饱和激活函数”**的存在的问题:1) 在接近饱和区时,变化太缓慢,导数趋于0,容易出现梯度消失。2) 反向传播求解误差梯度时,梯度趋于0,收敛速度慢。 **“非饱和激活函数”**的优势:1) 没有饱和区,抑制了“梯度消失”问题。(梯度消失问题的原因是多方面的,不仅仅是激活函数的锅)2) 收敛速度快3) ReLU会使一部分神经元输出为0,使网络更加稀...原创 2020-03-14 20:18:38 · 320 阅读 · 0 评论