![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
急流勇进
越努力,越幸运。
展开
-
CNN中FLOPs的计算
看到有人对flops有疑惑,先捋清这个概念。FLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。网上打字很容易全小写,造成混...转载 2019-02-27 20:45:22 · 912 阅读 · 0 评论 -
损失函数改进方法总览
原文链接: https://blog.csdn.net/u014380165/article/details/76946358 这篇博客主要列个引导表,简单介绍在深度学习算法中损失函数可以改进的方向,并给出详细介绍的博客链接,会不断补充。 1、Large Marge Softmax Loss ICML2016提出的Large Marge Softmax Loss(L-softma...转载 2019-03-11 10:53:33 · 1313 阅读 · 0 评论 -
adam相关的优化器
原文来自:https://zhuanlan.zhihu.com/p/52084949 选自medium,作者:Phúc Lê,机器之心编译,参与:高璇、王淑婷。 Adam 自出道以来,就一直是最流行的深度学习优化器,哪怕现在其实已经有几种可能更好用的优化器…… 如果将 Adam 优化出现以来产生的关于优化过程的有趣想法按时间顺序排列的话,结果如下: LR Range test + Cycl...转载 2019-03-28 22:28:41 · 6135 阅读 · 0 评论 -
梯度下降优化算法综述
文章转载 2019-04-02 17:19:59 · 313 阅读 · 0 评论