weixin_NineDays66

2020/04/22更新刚在相关问题回答里跟ResNest作者讨论的时候又发现一个学术论文与工业界需求偏差的地方。好多使用attention的网络，比如x=x*sigmoid(x)，实际上需要把tensor拷贝一次，这其实增大了显存占用，而显存占用是影响工业界实际应用的。因为工业界考虑的不是FLOPs，甚至也不是单纯的inference time，考虑的是把一块儿GPU打满情况下的QPS（...

https://zhuanlan.zhihu.com/p/70369784https://zhuanlan.zhihu.com/p/70369784https://zhuanlan.zhihu.com/p/70369784论文链接：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks代...

简介该论文提出了一种新的模型缩放方法，它使用一个简单而高效的复合系数来以更结构化的方式放大 CNNs。 不像传统的方法那样任意缩放网络维度，如宽度，深度和分辨率，该论文的方法用一系列固定的尺度缩放系数来统一缩放网络维度。 通过使用这种新颖的缩放方法和 AutoML[5]技术，作者将这种模型称为 EfficientNets，它具有最高达10倍的效率(更小、更快)。区别第一处...

新的卷积计算方法这种是直接提出新的卷积计算方式，从而减少参数，达到压缩模型的效果，例如SqueezedNet,mobileNet1. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size代码地址：https://github.com/DeepScale/SqueezeN...

ReLU6首先说明一下ReLU6，卷积之后通常会接一个ReLU非线性激活，在Mobile v1里面使用ReLU6，ReLU6就是普通的ReLU但是限制最大输出值为6（对输出值做clip），这是为了在移动端设备float16的低精度的时候，也能有很好的数值分辨率，如果对ReLU的激活范围不加限制，输出范围为0到正无穷，如果激活值非常大，分布在一个很大的范围内，则低精度的float16无法很...

http://777n.com/keji/50566.htmlhttp://777n.com/keji/50566.htmlhttp://777n.com/keji/50566.html深度学习是机器学习中一种基于对数据进行表征学习的方法，与传统靠手工设计特征的机器学习算法不同，深度学习能根据不同任务自动学习数据的特征。目前深度学习在语音、图像、视频处理上已经取得了令人印象深刻的进...