深度学习
木瓜强
这个作者很懒,什么都没留下…
展开
-
EfficientNet
一、背景介绍卷积神经网络通常是在固定资源预算下开发的,如果可用资源有变化,则可以进行Model Scaling(模型缩放)以提高模型性能。为了获得更高的准确率和效率,对卷积网络进行缩放是近几年研究者们经常干的事情,比如从ResNet-18到ResNet-200是对depth的缩放,MobileNet系列里width multiplier对channel的缩放等等。然而,大家都在模型缩放了,而且放缩depth、width(channel)以及resolution都是有效的,但是并没有人总结出原理性的方法来指原创 2020-05-23 08:45:39 · 653 阅读 · 0 评论 -
MobileNet_v2详解
一、背景介绍 MobileNet_v1看起来已经不错了,但有人在实际使用的时候, 发现depthwise layer的卷积核在训练之后不少参数为0,这很可能是因为ReLU导致神经元死亡。另外,MobileNet_v1没有引入shortcut,无法复用特征。二、思路提出2.1 Linear Bottlenecks 假设将许多张图片作为网络的输入,经过第i层输出并激活之后得到一个hi×w...原创 2020-04-22 16:57:06 · 1526 阅读 · 0 评论 -
MobileNet_v1详解
一、背景介绍 自2012年AlexNet问世以来,CNN被设计得越来越深,越来越复杂,对硬件的要求也就随之提高,而且这些大型网络都是以准确率为导向设计的,很少考虑到效率的优化。但是在实际生活的一些应用中(比如自动驾驶、增强现实等),不仅硬件受限制,而且注重效率,所以越来越多的人开始研究小巧而高效的网络。 当时(2017年)的研究方向可以分为两种,一是压缩复杂网络的预训练模型,二是直接设计并...原创 2020-04-17 14:21:47 · 862 阅读 · 0 评论 -
ResNet
一、背景介绍随着层数的堆叠,网络的深度会不断增加,特征的level也会提升,很多CV方向的任务也因此取得更好的成绩。但是,一个问题随之出现:通过层数堆叠不断加深网络的同时,可以学习到更好的网络吗?答案是否定的,梯度消失/爆炸是最大的阻碍。不过随着normalized initialization和Batch normalizaiton的应用,很大程度上已经解决了这个问题。但是退化问题(degr...原创 2020-04-13 20:29:45 · 357 阅读 · 0 评论 -
VGG详解
VGG一、背景介绍VGG全称是Visual Geometry Group,因为是由Oxford的Visual Geometry Group提出的。AlexNet问世之后,很多学者通过改进AlexNet的网络结构来提高自己的准确率,主要有两个方向:小卷积核和多尺度。而VGG的作者们则选择了另外一个方向,即加深网络深度。二、网络架构卷积网络的输入是224 * 224的RGB图像,整个网络的组成...原创 2020-04-02 15:43:49 · 35338 阅读 · 3 评论