深度学习
文章平均质量分 93
春枫琰玉
这个作者很懒,什么都没留下…
展开
-
GhostNet
本篇论文是发表于CVPR2020的一篇轻量级网络的论文,作者是华为诺亚方舟实验室,文章的总体思路比较清晰,为了减少网络计算量,作者将传统的卷积分成两步进行,首先利用较少的计算量通过传统的卷积生成channel较小的特征图,然后在此特征图的基础上,通过cheap operation(depthwise conv)再进一步利用较少的计算量,生成新的特征图,最后将两组特征图拼接到一起,得到最终的out...原创 2020-03-08 21:00:41 · 20006 阅读 · 1 评论 -
docker总结,基本上常用到的操作这里面都有了
在程序开发过程中,经常需要我们去配置各种开发环境,而本地与线上还可能存在环境依赖的不同,导致出现一些不知名的bug,这个时候不要抓头,是时候使用docker来帮你排忧解难了,下面我通过下面几个篇章来介绍Docker.原理介绍篇Docker是什么docker是linux容器的一种封装,提供简单易用的容器使用接口。它是最流行的Linux容器解决方案。简单来说就是,docker可以将你的环境进行...原创 2019-12-27 14:13:01 · 327 阅读 · 0 评论 -
初识 TVM
如有图像或公式显示错误,可以访问我的个人博客:https://www.wanglichun.tech/2019/11/15/tvm/笔者也是最近偶然的机会才开始接触TVM,使用过后发现,经过auto-tuning后的TVM模型在速度是竟然超过了TensorRT,并且笔者使用的是MXNet框架,TVM对MXNet绝对的友好,对于Pytorch等模型,可以使用ONNX,操作也一样简单,使用起来基本类...原创 2019-11-15 22:21:37 · 6715 阅读 · 0 评论 -
shuffleNet v2
论文名称:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design论文地址:https://arxiv.org/abs/1807.11164目前,CNN网络在图像识别领域大放异彩,从最初的AlexNet到后面的GoogLeNet,ResNet,识别精度越来越高,但是除了精度之外,模型的计算复杂度也越来...原创 2018-08-17 18:09:19 · 7343 阅读 · 3 评论 -
ECCV2018 papers
ECCV2018文章已公布,查看链接如下:http://openaccess.thecvf.com/ECCV2018.py当然为了方便小伙伴,当然要提供全部下载咯:百度云链接如下: 链接: https://pan.baidu.com/s/18A22Rnvda3f2n11y4ok2Rw 密码: xx26...原创 2018-09-07 10:37:47 · 4381 阅读 · 1 评论 -
Mask R-CNN
论文链接:https://arxiv.org/abs/1703.06870一、简介Mask R-CNN是He Kaiming大神2017年的力作,其在进行目标检测的同时进行实例分割,取得了出色的效果,其在没有任何trick的情况下,取得了COCO 2016比赛的冠军。其网络的设计也比较简单,在Faster R-CNN基础上,在原本的两个分支上(分类+坐标回归)增加了一个分支进行语义分割,如下图...原创 2018-10-30 20:54:09 · 28529 阅读 · 9 评论 -
gluoncv与mxnet的model转换
前不久,gluoncv进行了更新,发布了gluoncv0.3版本,该版本的一大创新点就是提供了一批在imagenet上精度更高的模型,对于需要使用预训练模型做迁移学习的小伙伴应该是帮助很大的,毕竟高精度可以带来一定效果的提升。网址如下:https://gluon-cv.mxnet.io/model_zoo/classification.html可是对于不使用gluoncv,而使用mxnet的小...原创 2018-11-01 17:06:13 · 3050 阅读 · 3 评论 -
Focal loss and RetinaNet
这是一篇论文阅读笔记论文链接:https://arxiv.org/abs/1708.02002代码链接:https://github.com/facebookresearch/Detectron首先,提一个问题,为什么one stage方法精度比two stage方法精度低?这个问题是本篇论文讨论与解决的主要问题.作者总结道,一个很重要的因素是因为在one stage方法中,正负样本的不...原创 2018-11-05 16:13:00 · 1684 阅读 · 3 评论 -
RefineDet
论文链接: https://arxiv.org/abs/1711.06897作者代码链接 : https://github.com/sfzhang15/RefineDet在目标检测中,有两个主流的分支,分别是以Faster R-CNN为代表的two stage方法以及以SSD为代表的one stage方法,两者各有优势,总结起来就是:two stage方法的精度更高,one stage方法的速...原创 2018-12-10 18:50:29 · 3747 阅读 · 4 评论 -
一文带你读懂Cascade R-CNN,一个使你的检测更加准确的网络
论文名称:Cascade R-CNN: Delving into High Quality Object Detection作者:Zhaowei Cai & Nuno Vasconcelos论文链接:https://arxiv.org/abs/1712.00726代码链接:https://github.com/zhaoweicai/cascade-rcnn简要概述文章精华本篇...原创 2019-01-13 12:58:30 · 42010 阅读 · 7 评论 -
Amazon深度学习工程师总结的分类模型炼丹技巧总结
论文名称:Bag of Tricks for Image Classification with Convolutional Neural Networks论文链接:https://arxiv.org/pdf/1812.01187.pdfhttps://arxiv.org/pdf/1812.01187.pdf很多时候,外界同学管深度学习算法工程师叫做调参工程师,简单直接的概括了深度学习工程师的...原创 2019-01-27 22:00:29 · 2763 阅读 · 6 评论 -
动手学mxnet系列之读取图像----多种方式读取图像送入mxnet模型
前言当我们已经有了现成的mxnet模型,如何在自己的数据上测试模型效果呢(即一张一张或者几张几张的过模型),这就涉及到如何读取图像,并将其变换为mxnet认识的结构(一般是4维),并送入模型,其实不光是mxnet,所有的深度学习框架都会有这个处理过程,这里,博主总结了几种常用的方法,都是比较简单的,个人比较喜欢使用mxnet.image.imread()或者是cv2.imread()其实无论采...原创 2019-05-13 20:49:27 · 5302 阅读 · 6 评论 -
动手学gluon系列之读取预训练模型----多种方法读取预训练模型进行finetune
本文主要是博主学习gluon时候的一些总结,共勉,如有错误,欢迎指正gluon主要有3个方法得到预训练模型:gluon自身的model_zoogluoncv提供的model_zoomxnet提供的预训练模型(.params ,.json)下面分别就这三个方面进行介绍一:读取gluon model_zoo提供的模型,并进行finetunegluon提供的model主要在gluon...原创 2019-05-14 14:25:56 · 2827 阅读 · 2 评论 -
residual attention network 论文解读
论文下载链接:https://arxiv.org/abs/1704.06904github代码下载链接caffe:https://github.com/fwang91/residual-attention-network摘要简介在本篇论文中,提出了Residual attention network,该网络利用attention机制(可以将该结构使用到现有的端到端的卷积网络中),Res...原创 2018-08-01 12:54:45 · 8140 阅读 · 8 评论 -
动手学gluon系列之--上采样的实现方法:Conv2DTranspose,转置卷积的实现与原理
说道上采样,就不得不提一篇非常经典的论文FCN,其在使用卷积缩放尺度后,利用上采样将特征图放大,实现图像分割,并且论文中多次提到的利用双线性插值实现上采样,那么在gluon中,如何实现呢?这里需要使用函数nn.Conv2DTranspose,本质就是下面这两行(备注中包含参数介绍)### 利用反卷积实现上采样,初始化方式采用Bilinear便实现了双线性插值上采样upsample=nn.C...原创 2019-05-17 17:07:15 · 1903 阅读 · 0 评论 -
mobilenet系列之又一新成员---mobilenet-v3
摘要:mobilenet-v3,是google在mobilenet-v2之后的又一力作,主要利用了网络结构搜索算法(NAS)来改进网络结构。并且本文提出了movilenetv3-large, mobilenet-v3 small。在语义分割,本文提出了一个新的方法:LR-ASPP.mobilenet-v3 large在imagenet分类任务上,较mobilenet-v2,精度提高了大约3....原创 2019-06-15 11:26:41 · 56602 阅读 · 5 评论 -
shuffleNet阅读笔记
论文名称:ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices论文链接:https://arxiv.org/abs/1707.01083摘要shuffleNet是face++在2017年提出,目的是提高深度模型的执行效率,降低对硬件的依赖,可在移动端执行。我们知道深度...原创 2018-08-14 12:40:14 · 2150 阅读 · 0 评论 -
mobileNet-一个典型的网络加速的例子
论文链接:https://arxiv.org/abs/1704.04861 MXNet框架代码:https://github.com/miraclewkf/mobilenet-MXNetmoblileNet,顾名思义,可以在移动端使用的网络,那必然要求网络的计算量要小一些,不然移动端可扛不住啊,那MobileNet如何做到这个的呢??总结来看,其主要创新点就在于论文中反复强调的depth-...原创 2018-07-05 20:56:21 · 3619 阅读 · 1 评论 -
Visualizing and Understanding Convolutional Networks
论文链接:https://link.springer.com/chapter/10.1007/978-3-319-10590-1_53本文贡献CNN在图像分类中的表现中取得了惊人的进展,但是对于为什么CNN表现的如此之好还没有一个清晰的解释。本文主要介绍如何利用反卷积进行CNN的可视化,通过对特征图进行反卷积,直观感受特征图提取到的图像特征,对CNN的分类结果加以说明,同时介绍了基于CNN原创 2018-01-24 15:04:43 · 325 阅读 · 0 评论 -
Network In Network
写在前面的话1、网络简介Network In Network是2014年ICLR中一篇比较出众的论文,该论文在CNN的基础上,通过设计mlpConv以及利用全局Pooling替代全连接层的方式,不仅减少了参数的数量,同时减少了过拟合的发生。同时GoogleNet中也采用了Network In Network中的思想,下面对论文进行详细的总结。2、Introduction1、原创 2018-01-21 17:41:56 · 729 阅读 · 0 评论 -
AlexNet
一、AlexNet网络简介AlexNet是较早期的一个卷积神经网络,由于其在ImageNet比赛中的出色表现(top1与top5的error rate分别为37.5%与17%),也掀起了学术界对深度学习的研究热潮,下面结合AlexNet的论文,对AlexNet进行简单的总结,有不足的地方,欢迎指正。二、alexNet网络结构AlexNet为8层结构,其中前5层为卷积层,后面3原创 2018-01-17 13:06:13 · 6261 阅读 · 2 评论 -
VGG
VGG网络简介VGG网络是在AlexNet网络的基础上发展而来的,其主要贡献在于使用非常小的3*3的卷积核进行网络设计,并且将网络深度增加到16-19层。在2014年ImageNet比赛中,获得了定位第1,分类第2的好成绩,网络具有很好的泛化能力。VGG网络结构 网络结构 如下图是VGG网络不同深度的网络结构图,从左到右层数在增加。 对比与AlexNet的异同 VGG与原创 2018-01-17 20:29:46 · 16407 阅读 · 0 评论 -
ResNet(Deep Residual Learning for Image Recognition)
论文链接:https://arxiv.org/abs/1512.03385Resnet是2015年ImageNet比赛的冠军,不仅在分类上标线优秀,在目标检测中同样取得好成绩,Resnet将网络层数进一步加深,甚至达到1000+层。1、Degradation根据经验,如果没有发生梯度消失、弥散现象,网络层数越深效果会越好,但是作者实验发现,虽然网络层数增加,但是训练会出现饱和现象原创 2018-02-04 17:16:05 · 1571 阅读 · 0 评论 -
解密ResNet:Identity Mappings in Deep Residual Networks
论文链接:https://arxiv.org/abs/1603.05027本篇文章是对ResNet取得较好效果的分析与改进,在过去residual block的基础上,提出了新的residual block,并通过一系列实验验证了identity mapping能对模型训练产生很好的效果。1、介绍1、ResNet block表示:resnet block结果如下: res原创 2018-02-05 18:46:13 · 1154 阅读 · 0 评论 -
GoogleNet V1 Going deeper with convolutions
论文链接:http://arxiv.org/pdf/1409.4842v1.pdf1、简介GoogleNet V1作为ILSVRC2014比赛的冠军,一经问世便受到了广泛的关注,并且也得益于其独特的网络设计,相比较于同期的VGG,GoogleNet使得网络的深度得到了进一步的增加,网络宽度更宽,卷积层数量更多。之后又在V1的基础上发展出了V2-V4版本,使得识别准确率进一步提升。2、G原创 2018-01-29 20:13:35 · 360 阅读 · 0 评论 -
GoogleNetV3 Rethinking the Inception Architecture for Computer Vision
论文链接:https://arxiv.org/abs/1512.005671、introductionGoogLeNet与VGG在2014年ImageNet比赛中均取得了较好的成绩,但是在参数数量和计算资源方面,GoogLeNet更少,GoogLeNet有大约5百万个参数,相比较与6000万参数的AlexNet,少了12倍,而VGG的参数数量是AlexNet参数数量的3倍多,因此Goo...原创 2018-02-13 18:58:02 · 499 阅读 · 0 评论 -
GoogleNetV4 Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
论文链接:https://arxiv.org/abs/1602.072611、简介本文主要是将googLeNet的Inception模块与ResNet结构进行融合,得到Inception-ResNet结构,作者通过实验发现,该结构对于图像识别的准确率并没有较大的提升但是对于网络的收敛速度有了较大的改进。2、Inception V4话不多说,直接上图: 所有图中没有标记“V”的卷...原创 2018-02-14 17:46:20 · 635 阅读 · 0 评论 -
DenseNet
原文链接:https://arxiv.org/abs/1608.06993DenseNet原版代码:https://github.com/liuzhuang13/DenseNet创新点:DenseNet作为2017CVPR最佳论文,其在ResNet基础上,提出了更优秀的shortcut方式,Dense Connection 不仅能使得feature更加强健,还能带来更快的收敛速度。并且De...原创 2018-03-07 20:34:56 · 994 阅读 · 0 评论 -
CVPR2015 FCN网络简介 (Fully convolutional networks for semantic segmentation)
论文链接:https://arxiv.org/abs/1411.4038作者源码链接:https://github.com/shelhamer/fcn.berkeleyvision.org1、简介本文是对神经网络的一个较大改进,通过端到端、像素到像素的训练,实现像素级别的分类任务,并且取得了很好的效果,同时也是PASCAL VOC当时最出色的分割方法。2、FCN2.1 ...原创 2018-03-01 00:33:49 · 712 阅读 · 0 评论 -
TPAMI2017 SegNet:A Deep Convolutional Encoder-Decoder Architecture for Scene Segmentation
论文链接:https://arxiv.org/abs/1511.005611、简介目前,利用深度神经网络进行语义分割虽然取得了一定效果,但在进行特征提取的时候,通过pooling进行下采样,会导致结果较为粗糙。为得到更好的分割效果,本文作者提出了一种用于语义分割的全卷积网络:SegNet网络,提高分辨率的同时对于边界的定位较为准确。SegNet以场景理解为目标应用,是一种end-to-...原创 2018-03-02 00:30:28 · 2995 阅读 · 0 评论 -
ResNeXt : Aggregated Residual Transformations for Deep Neural Networks
论文链接:https://arxiv.org/abs/1611.05431创新点:ResNeXt在ResNet的基础上,结合ResNet的block stack策略以及Inception结构分组卷积的思想,设计aggregrated transformations策略,在不增加模型复杂度的情况下,提高了模型识别的准确率,虽然没有提出特别新奇的网络结构,但是ResNeXt利用更简单的拓扑结构在不...原创 2018-03-05 20:17:52 · 1322 阅读 · 0 评论 -
YOLO算法详解
YOLO(You Only Look Once)是CVPR2016的一篇文章,是目标检测领域比较有名的的一篇文章,yolo出名不在于它的精度高,而在于他的速度很快,下面介绍的是yolo的第一版,在yolo之后,又改进出了yolo-v2,yolo-v3,v2,v3的精度相比较于v1就有大大提升了,这个后面再详细介绍。在介绍yolo之前,首先引入一下目标检测的进展,yolo之前的目标检测一般是如何...原创 2018-06-04 14:13:46 · 32644 阅读 · 21 评论 -
densenet与resneXt的巧妙结合-DPN网络
DPN是在resneXt,denseNet之后,对resnet系列的进一步创新,作者巧妙的将resnet与denseNet相结合,提出了dual path architectures,构造了DPN网络结构。 那么DPN的创新点有哪些呢?如下:DPN具有更小的模型以及更少的计算量,具有更好的训练速度。作者在论文中的描述为:[In particular,on the ImageNet...原创 2018-05-30 14:35:45 · 7416 阅读 · 0 评论 -
Batch Normalization
本文链接:https://arxiv.org/abs/1502.03167简介在深度神经网络训练的过程中,当前面层的参数发生变化时,会导致后面层输入数据的分布变化,进而影响训练效果,使网络的训练变得复杂。本文提出了一种Batch Normalization方法解决这个问题,该方法可以使用较大的学习率进行学习,同时可以忽略掉dropout的作用,提高模型收敛速度,提高识别率。Intr原创 2018-01-31 16:38:24 · 600 阅读 · 0 评论