![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DeepLearning
文章平均质量分 96
我是小将
Make your hands dirty!
展开
-
PVT:可用于密集任务backbone的金字塔视觉transformer
自从ViT之后,关于vision transformer的研究呈井喷式爆发,从思路上分主要沿着两大个方向,一是提升ViT在图像分类的效果;二就是将ViT应用在其它图像任务中,比如分割和检测任务上,这里介绍的**PVT(Pyramid Vision Transformer)**就属于后者。PVT相比ViT引入了和CNN类似的金字塔结构,使得PVT像CNN那样作为backbone应用在dense prediction任务(分割和检测等)。CNN结构常用的是一种金字塔架构,如上图所示,CNN网络一般可以划分为原创 2021-04-05 18:25:17 · 1393 阅读 · 1 评论 -
CV中的无监督学习方法:MoCo
无论是CV还是NLP领域,学习一个好的特征或者表达至关重要。对于NLP,通过无监督方法学习特征已经取得好大的成功,但是在CV领域,目前主流的方案还是采用ImageNet上的有监督pretrain模型。这是因为NLP任务的输入如words属于一个离散空间,而CV任务的输入图片属于一个高维连续空间。不过,目前的一些CV领域的无监督学习方法也取得了一些较大的进展,这里介绍的MoCo就是一种比较流行的无监督学习方法。对比学习无监督学习方法主要用来学习好的特征以用于特定的下游任务,这类方法往往需要建立一个代理任原创 2021-03-20 09:13:50 · 1905 阅读 · 0 评论 -
未来的“经典”之作ViT:transformer is all you need
文章目录Patch EmbeddingPosition EmbeddingClass TokenTransformer EncoderViT模型效果参考从2020年,transformer开始在CV领域大放异彩:图像分类(ViT, DeiT),目标检测(DETR,Deformable DETR),语义分割(SETR,MedT),图像生成(GANsformer)等。而从深度学习暴发以来,CNN一直是CV领域的主流模型,而且取得了很好的效果,相比之下transformer却独霸NLP领域,transforme原创 2021-03-20 09:04:50 · 4132 阅读 · 2 评论 -
Focal Loss和它背后的男人RetinaNet
文章目录Focal LossRetinaNetBackboneAnchordetection模块模型初始化模型训练与预测与其他模型的对比参考说起Focal Loss,相信做CV的都不会陌生,当面临正负样本不平衡时可能第一个想到的就是用Focal Loss试试。但是怕是很多人会不知道这篇论文中所提出的one stage目标检测模型RetinaNet,这也难怪,就连论文里面也说了RetinaNet模...原创 2020-04-06 21:12:56 · 1055 阅读 · 0 评论 -
ShuffleNetV2:轻量级CNN网络中的桂冠
文章目录设计理念网络结构TensorFlow上的实现参考近来,深度CNN网络如ResNet和DenseNet,已经极大地提高了图像分类的准确度。但是除了准确度外,计算复杂度也是CNN网络要考虑的重要指标,过复杂的网络可能速度很慢,一些特定场景如无人车领域需要低延迟。另外移动端设备也需要既准确又快的小模型。为了满足这些需求,一些轻量级的CNN网络如MobileNet和ShuffleNet被提出,...原创 2020-04-05 14:47:32 · 793 阅读 · 1 评论 -
轻量级CNN网络之MobileNetv2
文章目录Depthwise Separable ConvolutionLinear BottlenecksInverted Residuals网络结构TensorFlow上的实现小结参考MobileNet网络是Google提出主要应用在移动端的轻量级CNN网络,之前的文章(CNN模型之MobileNet)已经对MobileNetv1版本进行了详细的介绍。目前,Google已经公开了Mobile...原创 2020-04-05 14:39:29 · 2036 阅读 · 0 评论 -
最后一届ImageNet冠军模型:SENet
文章目录前言主体思路Squeeze-and-Excitation (SE) 模块Squeeze操作Excitation操作SE模块在Inception和ResNet上的应用模型效果SE模块的实现小结参考文献前言在深度学习领域,CNN分类网络的发展对其它计算机视觉任务如目标检测和语义分割都起到至关重要的作用,因为检测和分割模型通常是构建在CNN分类网络(称为backbone)之上。提到CNN分...原创 2020-04-05 13:46:24 · 2181 阅读 · 0 评论 -
人人必须要知道的语义分割模型:DeepLabv3+
文章目录整体架构空洞卷积空间金字塔池化(ASPP)Decoder改进的Xception模型小结参考文献图像分割是计算机视觉中除了分类和检测外的另一项基本任务,它意味着要将图片根据内容分割成不同的块。相比图像分类和检测,分割是一项更精细的工作,因为需要对每个像素点分类,如下图的街景分割,由于对每个像素点都分类,物体的轮廓是精准勾勒的,而不是像检测那样给出边界框。图1 街景分割图像分割可以分...原创 2020-04-05 13:40:45 · 2508 阅读 · 1 评论 -
TensorFlow 2.0简明指南
文章目录Eager执行AutoGraph性能优化:tf.function模型构建:tf.keras模型训练结语参考文献TensorFlow虽是深度学习领域最广泛使用的框架,但是对比PyTorch这一动态图框架,采用静态图(Graph模式)的TensorFlow确实是难用。好在最近TensorFlow支持了eager模式,对标PyTorch的动态执行机制。更进一步地,Google在最近推出了全新...原创 2020-04-05 13:29:48 · 638 阅读 · 0 评论 -
2020年,我终于决定入门GCN
文章目录图的概念学习新特征图卷积GCN的PyTorch实现半监督分类实例结语参考我们面对的很多数据其实是图(graph),图在生活中无处不在,如社交网络,知识图谱,蛋白质结构等。在2020年这个寒冬,窝在家里的小编终于打算入门GNN(Graph Neural Networks)中的分支:GCN(Graph Convolutional Networks)。图的概念对于图,我们习惯上用G=(V...原创 2020-04-05 13:26:25 · 1444 阅读 · 0 评论 -
VoVNet:实时目标检测的新backbone网络
文章目录高效网络设计要素OSA(One-Shot Aggregation)模块VoVNetVoVNet在检测模型上的效果VoVNetV2VoVNetV2的PyTorch实现参考目前基于深度学习的目标检测模型无不依赖CNN分类网络来作为特征提取器,如SSD采用VGG,YOLO采用DarkNet,Faster R-CNN采用ResNet,我们一般称这些网络为目标检测模型的backbone。ResNe...原创 2020-04-04 22:10:37 · 15462 阅读 · 6 评论 -
DenseNet:比ResNet更优的CNN模型
码字不易,欢迎给个赞!欢迎交流与转载,文章会同步发布在公众号:机器学习算法全栈工程师(Jeemy110)文章目录前言设计理念网络结构实验结果及讨论使用Pytorch实现DenseNet小结参考文献前言在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法,比如最近的GoogLenet,VGG-19,Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现,Re...原创 2019-01-01 21:14:50 · 19176 阅读 · 4 评论 -
生成对抗网络的tensorflow实现
生成对抗网络的tensorflow实现原文地址:http://blog.evjang.com/2016/06/generative-adversarial-nets-in.html 这是关于使用tensorflow来实现Goodfellow的生成对抗网络论文的教程。对抗网络是一个可以使用大约80行的python代码就可以实现的一个有趣的小深度学习练习,这将使你进入深度学习的一个活跃领域:生成式模型翻译 2017-01-08 15:51:26 · 16852 阅读 · 3 评论 -
递归神经网络教程(1)-RNN介绍
递归神经网络教程(1)-RNN介绍Source: http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/递归神经网络(RNNs)作为一种流行的模型,已经在NLP问题上显示巨大的应用前景。尽管最近很流行,但是对RNNs原理以及如何实施进行全面解释的资源却很少。因此就有了这翻译 2017-01-16 22:27:15 · 7171 阅读 · 0 评论 -
YOLO算法的原理与实现
码字不易,欢迎给个赞!欢迎交流与转载,文章会同步发布在公众号:机器学习算法全栈工程师(Jeemy110)目录目录前言滑动窗口与CNN设计理念网络设计网络训练网络预测算法性能分析算法的TF实现小结参考文献前言当我们谈起计算机视觉时,首先想到的就是图像分类,没错,图像分类是计算机视觉最基本的任务之一,但是在图像分类的基础上,还有更复杂和原创 2018-01-30 22:30:48 · 140391 阅读 · 40 评论 -
综述|基于深度学习的目标检测(一)
码字不易,欢迎给个赞!欢迎交流与转载,文章会同步发布在公众号:机器学习算法全栈工程师(Jeemy110)目录目录概述数据集和性能指标数据集性能指标R-CNNSPP-netFast R-CNNFaster R-CNN参考文章概述图像分类,检测及分割是计算机视觉领域的三大任务。图像分类模型(详情见这里)是将图像划分为单个类别,通常对...原创 2018-03-18 13:45:59 · 65973 阅读 · 6 评论 -
实例介绍TensorFlow的输入流水线
目录目录前言制作TFRecords文件读取TFRecords文件tf.data简介创建Dataset创建IteratorOne-shot IteratorInitializable IteratorReinitializable IteratorFeedable IteratorMNIST完整实例小结参考前言在训练模型时,我们首先要处理的就...原创 2018-03-23 21:09:24 · 1302 阅读 · 1 评论 -
目标检测算法之SSD
码字不易,欢迎给个赞!欢迎交流与转载,文章会同步发布在公众号:机器学习算法全栈工程师(Jeemy110)目录目录前言设计理念网络结构训练过程预测过程性能评估TensorFlow上的实现小结参考文献前言目标检测近年来已经取得了很重要的进展,主流的算法主要分为两个类型:(1)two-stage方法,如R-CNN系算法,其主要思路是先通过启...原创 2018-04-06 15:17:33 · 101516 阅读 · 40 评论 -
目标检测|YOLOv2原理与实现(附YOLOv3)
码字不易,欢迎给个赞! 欢迎交流与转载,文章会同步发布在公众号:机器学习算法工程师(Jeemy110)欢迎关注机器学习算法工程师专栏和公众号前言YOLOv2的改进策略Batch NormalizationHigh Resolution ClassifierConvolutional With Anchor BoxesDimension ClustersNew Netw...原创 2018-06-12 15:56:17 · 6498 阅读 · 3 评论 -
你知道如何计算CNN感受野吗?这里有一份详细指南
码字不易,欢迎给个赞! 欢迎交流与转载,文章会同步发布在公众号:机器学习算法全栈工程师(Jeemy110)固定大小的CNN特征图可视化感受野计算公式附文小结本文翻译自A guide to receptive field arithmetic for Convolutional Neural Networks,原作者保留版权。感受野(receptive field,...翻译 2018-06-11 09:03:28 · 5762 阅读 · 1 评论 -
使用逻辑回归对MNIST数字分类
使用逻辑回归对MNIST数字分类注意:这部分需要读者熟悉Theano的以下概念:shared variables,basic arithmetic ops,T.grad,floatX。如果准备使用GPU运行代码,你需要阅读Theano的GPU教程。 这部分的源代码可以从这里下载。在这部分中,我们将展示如何使用Theano建立最基本的分类器:逻辑回归(logistic regression)。我们从翻译 2016-07-22 11:03:56 · 4289 阅读 · 2 评论