图像分类
文章平均质量分 92
关注深度学习图像分类技术研究,以及训练优化类文章
Kun Li
自古山高水远路,无一不为风尘苦。
展开
-
self-attention和cross-attention
一言以蔽之,就是cross-attention是在sequence之间不同位置的输入做attention,self-attention是在sequence内部做attention。self和cross attention的区别仅在q和kv的来源上,self-attention Q(uery)K(ey)V(alue)均来源与一个sequence,而cross-attention中Q来源于另一个sequence,而且多为跨模态的sequence。cross-attention混入了两种不同的序列。原创 2023-04-20 13:38:39 · 4795 阅读 · 1 评论 -
mixup:beyond empirical risk minimization
全网最全:盘点那些图像数据增广方式Mosiac,MixUp,CutMix等. - 知乎全网最全:盘点那些图像数据增广方式Mosiac,MixUp,CutMix等. 本文由林大佬原创,转载请注明出处,来自腾讯、阿里等一线AI算法工程师组成的QQ交流群欢迎你的加入: 1037662480 相信很多朋友在面对各种各样的数据增广…https://zhuanlan.zhihu.com/p/191558572如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION? - 知乎这篇p原创 2021-12-13 19:57:46 · 2502 阅读 · 0 评论 -
group normalization
全面解读Group Normalization-(吴育昕-何恺明 ) - 知乎前言 Face book AI research(FAIR)吴育昕-恺明联合推出重磅新作Group Normalization(GN),提出使用Group Normalization 替代深度学习里程碑式的工作Batch normalization,笔者见猎心喜,希望和各位分享此工作…https://zhuanlan.zhihu.com/p/35005794【基础算法】六问透彻理解BN(Batch Normalization) -原创 2021-12-11 12:35:45 · 410 阅读 · 0 评论 -
asymmetric loss for multi-label classification
[论文笔记] Asymmetric Loss For Multi-Label Classification - 知乎在多标签图像识别问题中,由于标签空间往往很大,再加上正类样本的稀疏性,这使得多标签图像中存在严重的正负样本不均衡。ASL 便是从损失函数的角度出发,尝试解决该问题。在多标签图像识别问题中,我们常用的损失…https://zhuanlan.zhihu.com/p/425770937GitHub - Alibaba-MIIL/ASL: Official Pytorch Implementation原创 2021-12-09 09:26:53 · 2990 阅读 · 0 评论 -
bag of tricks for image classification with convolutional neural networks
Bag of Tricks for Convolutional Neural Networks - 知乎刚刚看了 Bag of Tricks for Image Classification with Convolutional Neural Networks,一篇干货满满的文章,同时也可以认为是GluonCV 0.3: 超越经典的说明书,通过这个说明书,我们也拥有了超越经典的工具箱。…https://zhuanlan.zhihu.com/p/51870052图像分类算法优化技巧:Bag of Tricks原创 2021-12-06 19:58:29 · 1465 阅读 · 0 评论 -
label confusion learning to enhance text classification models
用模型“想象”出来的target来训练,可以提高分类的效果! - 知乎LearnFromPapers系列——用模型“想象”出来的target来训练,可以提高分类的效果作者:郭必扬 时间:2020年最后一天前言:今天是2020年最后一天,这篇文章也是我的SimpleAI公众号2020年的最后一篇推文,感谢大家一…https://zhuanlan.zhihu.com/p/340930767...原创 2021-12-02 19:11:52 · 1621 阅读 · 1 评论 -
when does label smoothing help?
Label Smoothing分析 - 知乎有挺多人问过我一个问题:Label Smoothing在图像识别中能稳定涨点,在人脸的loss里加上Label Smoothing是否有用呢? 我挺早之前就注意到了这件事,当时也做了实验,发现直接应用在人脸相关的loss上,是掉点的。其…https://zhuanlan.zhihu.com/p/302843504 hinton署名,我只看了前半部分,还是很有意思的,label smoothing为什么会有用,之前一直觉得one-hot形式的lab...原创 2021-12-01 19:41:29 · 1657 阅读 · 0 评论 -
rethinking imagenet pre-training
Rethinking ImageNet Pre-training 论文笔记_AI之路-CSDN博客论文:Rethinking ImageNet Pre-training论文链接:https://arxiv.org/abs/1811.08883Kaiming He这篇文章以计算机视觉中的目标检测、实例分割和人体关键点检测领域为例,思考预训练模型是否真的那么重要,最后基于实验结果得出结论:基于随机初始化的网络参数(train from scratch)训练模型的效果并不比基于ImageNet数...https:原创 2021-11-30 19:32:16 · 1748 阅读 · 0 评论 -
arcface:additive angular margin loss for deep face recognition
技术详解:人脸识别算法的训练之路(下)-InfoQ摘要:我们从人脸识别技术的技术细节讲起,带你初步了解人脸识别技术的发展过程。通过平台实例的操作,带你看看如何利用公有云的计算资源,快速训练一个可用的人脸识别模型。MarginBasedClassificationMarginbasedclassification不像在feature层直接计算损失的metriclearning那样对feature加直观的强限制,是依然把人脸识别当classificahttps://www.infoq.cn/article/r2原创 2021-11-26 14:48:02 · 532 阅读 · 0 评论 -
cosface:large margin cosine loss for deep face recognition
从lsoftmax,a-softmax(sphereface)到这篇cosface以及提出来的large margin cosine loss(LMCL)都是很有启发性的,a-softmax将||w||=1,b=0,改进了lsoftmax。lmcl对w和x都做了归一化,让loss更关注角度,并且把m从角度空间放到了余弦空间中,及更好优化,效果也更好。1.Abstract center loss,large margin softmax loss,angular softm...原创 2021-11-25 16:30:32 · 1360 阅读 · 0 评论 -
sphereface:deep hypersphere embedding for face recognition
SphereFace算法详解_AI之路-CSDN博客_sphereface论文:SphereFace: Deep Hypersphere Embedding for Face Recognition 论文链接:https://arxiv.org/abs/1704.08063这篇是CVPR2017的poster,主要提出了A-softmax loss(angular softmax loss)用来改进原来的softmax loss。A-softmax loss简单讲就是在https://blog.csdn.n原创 2021-11-24 16:05:59 · 2107 阅读 · 0 评论 -
large-margin softmax loss for convolutional neural networks
损失函数改进之Large-Margin Softmax Loss_AI之路-CSDN博客_large margin softmax最近几年网络效果的提升除了改变网络结构外,还有一群人在研究损失层的改进,这篇博文要介绍的就是较为新颖的Large-Margin softmax loss(L-softmax loss)。Large-Margin softmax loss来自ICML2016的论文:Large-Margin Softmax Loss for Convolutional Neural Networks原创 2021-11-23 19:30:08 · 1471 阅读 · 0 评论 -
BBN:Bilateral-Branch network with cumulative learning for long-tailed visual recognition
旷视研究院提出双边分支网络BBN:攻坚长尾分布的现实世界任务 - 知乎IEEE 国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14-19 日在美国西雅图举行。近日,大会官方论文结果公布,旷视研究院 17 篇论文被收录,…https://zhuanlan.zhihu.com/p/123876769 长尾现象是一个很普遍的现象,比如说广告创意图的投放,曝光,点击...原创 2021-11-18 16:15:52 · 1615 阅读 · 1 评论 -
O2U-Net:A simple noisy label detection approach for deep neural networks
每天审核淘宝性感图的工程师,竟然还做了这个 - 知乎导读:获取高置信标注的大规模数据集是有监督学习算法的一个难点问题,训练集中的噪声标签会严重降低模型的精度。通过所提出的噪声标签自动识别算法,无需人工干涉就可获取高质量的干净数据集,可以充分发挥海量弱…https://zhuanlan.zhihu.com/p/143904939意图识别算法:噪音处理之O2U-Net: A Simple Noisy Label Detection Approach for Deep Neural Networks_iin729原创 2021-11-17 16:20:38 · 871 阅读 · 0 评论 -
ghostnet
CVPR 2020:华为GhostNet,超越谷歌MobileNet,已开源 - 知乎来自华为诺亚方舟实验室的一篇工作近日被CVPR 2020接受,提出了一种新型的端侧神经网络架构,GhostNet。作者:韩凯、王云鹤等。该架构可以在同样精度下,速度和计算量均少于SOTA算法。 该论文提供了一个全新的Ghos…https://zhuanlan.zhihu.com/p/109325275GhostNet论文解析:Ghost Module - 知乎简介: GhostNet是2020CVPR录用的...原创 2021-11-13 20:04:29 · 7850 阅读 · 2 评论 -
mobilenetv2
如何评价mobilenet v2 ? - 知乎原创 2021-11-13 14:44:21 · 1972 阅读 · 0 评论 -
resnest
ResNeSt 实现有误? - 知乎ResNeSt 这个工作在发布以来,收到了很大的关注。然而知乎和GitHub上有人质疑 ResNeSt 的核心代码存在错误,在这里从我的角度详细讲讲 ResNeSt 的实现,看看到底有没有问题。如有介绍不正确的地方,还请 @张航 等…https://zhuanlan.zhihu.com/p/135220104关于ResNeSt的点滴疑惑 - 知乎20200423补充:中午吃饭时间看到了一篇为ResNeSt“正名”的文章,链接如下。可能 @Amusi 没有深入去对比分析Re原创 2021-11-12 14:14:10 · 1026 阅读 · 0 评论 -
res2net
res2net是我目前各个项目中几乎是应用最广的backbone,无论是直接用来做分类任务,还是用来做图片的特征提取,这篇文章写的也很简单,理论上就一条充分利用多尺度信息,主要走实践。不过不得不说程明明老师这个网站,成果展示这块做的是真好,活特别细,值得学习。1.Introduction 尺度信息或者说局部信息,对象的局部信息对识别对象也很重要,视觉任务想要获得多尺度的表示需要特征提取器使用一个大范围的感受野以不同的尺度描述对象,cnn通过堆叠卷积算子天然能够学习到coarse-to-...原创 2021-11-11 17:24:34 · 14958 阅读 · 6 评论 -
densenet
DenseNet:比ResNet更优的CNN模型 - 知乎码字不易,欢迎给个赞! 欢迎交流与转载,文章会同步发布在公众号:机器学习算法全栈工程师(Jeemy110) 历史文章:小白将:你必须要知道CNN模型:ResNet前言在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的…https://zhuanlan.zhihu.com/p/37189203Deep Networks with Stochastic Depth - 纯洁的小兄弟 - 博客园随机深度文章是发表于ECCV2016,这篇文章早于Den原创 2021-11-11 14:31:21 · 3280 阅读 · 0 评论 -
resnet
Resnet到底在解决一个什么问题呢? - 知乎既然可以通过初试化和归一化(BN层)解决梯度弥散或爆炸的问题,那Resnet提出的那条通路是在解决什么问题…https://www.zhihu.com/question/64494691你必须要知道CNN模型:ResNet - 知乎欢迎交流与转载,文章会同步发布在公众号:机器学习算法全栈工程师(Jeemy110)引言深度残差网络(Deep residual network, ResNet)的提出是CNN图像史上的一件里程碑事件,让我们先看一下ResNet在IL原创 2021-11-10 20:25:49 · 381 阅读 · 0 评论 -
efficientnet
EfficentNet详解之MBConvBlock - 知乎Efficientnet 是基于MBConvBlock建立的网络。MBConvBlock模块的拓朴图如下: class MBConvBlock(nn.Module): """ Mobile Inverted Residual Bottleneck Block Args: block_args (namedtuple): BlockAr…https://zhuanlan.zhihu.com/p/258386372后ResNet时代的顶流Efficie原创 2021-11-10 14:07:34 · 1858 阅读 · 0 评论 -
T2T-VIT
Vision Transformer 超详细解读 (原理分析+代码解读) (十五) - 知乎本系列已授权极市平台,未经允许不得二次转载,如有需要请私信作者。考虑到每篇文章字数的限制, 每一篇文章将按照目录的编排包含两到三个小节,而且这个系列会随着Vision Transformer的发展而长期更新。专栏目录…https://zhuanlan.zhihu.com/p/386955720Tokens-to-Token ViT:真正意义上击败了CNN - 知乎原创文章,未经允许,禁止转载导读前面提到过ViT,但是原创 2021-11-04 17:31:13 · 1191 阅读 · 0 评论 -
Vit-transformers
【实践】深入理解图像分类中的Transformer-Vit,DeiT - 飞桨AI Studio - 人工智能学习与实训社区本项目选取CV中的transformer模型ViT、DeiT进行项目开发,按照原理加代码模式进行组织,并在ImageNet验证集上进行模型评估。 - 飞桨AI Studio - 人工智能学习与实训社区https://aistudio.baidu.com/aistudio/projectdetail/2293050"未来"的经典之作ViT:transformer is all you n原创 2021-11-03 20:21:54 · 1508 阅读 · 0 评论 -
swin transformer
如何看待微软亚洲研究院的Swin Transformer? - 知乎Swin Transformer最重要的两点是hierarchical feature representation和SW-MSA(Shifted Window based Mu…https://www.zhihu.com/question/451860144/answer/1812073911Swin Transformer对CNN的降维打击 - 知乎欢迎关注Smarter,构建CV世界观,输出优质内容 恭喜Swin Transforme原创 2021-11-03 16:35:06 · 1470 阅读 · 0 评论 -
attention is all you need
有几个参考的文章写的很好:《Attention is All You Need》浅读(简介+代码) - 科学空间|Scientific Spaceshttps://kexue.fm/archives/4765Self-Attention和Transformer - machine-learning-noteshttps://luweikxy.gitbook.io/machine-learning-notes/self-attention-and-transformer#wei-zhi-bian-ma详解原创 2021-10-28 15:20:35 · 551 阅读 · 0 评论 -
Learning Transferable Architectures for Scalable image recognition
Learning Transferable Architectures for Scalable image recognition网络结构设计Abstract: As this approach is expensive when the dataset is large,we propose to search for an architectural building block o...原创 2019-03-19 11:45:11 · 3431 阅读 · 0 评论 -
AdaNet: Adaptive Structural Learning of Artificial Neural Networks
AdaNet: Adaptive Structural Learning of Artificial Neural Networkstf的轻量级框架AdaNet,该框架可以使用少量专家干预来自动学习高质量模型。Adanet在automl的基础上构建,快速灵活同时能够提供学习保证。重要的是Adanet提供通用框架,不仅能够用于学习神经网络架构,还能学习集成构架以获得更好的模型。能...原创 2019-03-19 11:41:09 · 643 阅读 · 0 评论 -
Deep Layer Aggregation
Deep Layer Aggregation(特征聚合体系)一个CNN是由多个conv block组成,最简单的conv block由conv层+非线性层组成。其他的conv block有如下几种:第一个表示输出通道,中间表示卷积核尺寸,随后表示输入通道。连续几个conv block可以组成一个subnetwork,可以按照分辨率来划分,比如resnet这些conv block...原创 2019-03-19 11:38:21 · 1900 阅读 · 0 评论 -
EffNet: An efficient structure for convolutional neural network
EffNet: An efficient structure for convolutional neural networkAbstract: 随着卷积神经网络在客户产品中的应用不断增加,模型需要在嵌入式移动硬件上高效运行。 因此,较薄的模型已成为热门的研究课题,其各种方法从二进制网络到修订的卷积层变化。 我们为后者提供了贡献,并提出了一种新颖的卷积模块,它可以显着减少计算负担,同时超越当前...原创 2019-03-18 11:10:27 · 971 阅读 · 0 评论 -
Dropblock: A regularization method for convolutional network
Dropblock: A regularization method for convolutional networkAbstract: Thus a structed form of dropout is needed to regulatize convolutional networks.1. Intrcoduction2. Related workDropConne...原创 2019-03-18 11:09:58 · 346 阅读 · 0 评论 -
Skipnet: Learning Dynamic rounting in convolutional network
Skipnet: Learning Dynamic rounting in convolutional networkAbstract: uses a gating network to selectively skip connectional blocks based on the activations of the previous layer.Dynamic skipping p...原创 2019-03-18 10:35:28 · 892 阅读 · 0 评论 -
Opening the black box of deep nueron network via information
Opening the black box of deep nueron network via informationhttp://www.cnblogs.com/guoyaohua/p/8542554.htmlhttps://blog.csdn.net/qq_20936739/article/details/82661148信息平面(Information plane)在训练过...原创 2019-03-18 10:34:43 · 966 阅读 · 0 评论 -
Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition
Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition1. Introduction2. Related workFine-grained recognitionIntermediate representations in CNN3.Learning Discri...原创 2019-03-18 10:34:25 · 1117 阅读 · 0 评论 -
Decoupled network
Decoupled networkhttps://zhuanlan.zhihu.com/p/37598903神经网络机制存在的缺陷?过拟合,梯度消失或者是膨胀,训练依靠大量样本,对网络初始化及其敏感记忆协迁移等等。Decupled network是对operator的改进现在的卷积操作就是一个內积操作矩阵相乘计算,两个矩阵相似度的操作(类似卷积滤波)。解耦操作...原创 2019-03-18 10:26:44 · 1496 阅读 · 0 评论 -
Understanding deep learning requires rethinking generalization
Understanding deep learning requires rethinking generalization在部分/全部随机标签的CIFAR-10数据集,以及加入了高斯噪音的图片上的表现。如果在随机生成的分类标签上,模型表现的也很好,这对于模型的泛化能力意味着什么?先让我们看看文中给出的数据,A图指出,不管怎样在模型中怎样引入随机性,在图像中加入随机噪音,对像素进...原创 2019-03-18 10:13:35 · 1033 阅读 · 0 评论 -
Mixed Link Networks
Mixed Link NetworksAbstract: same dense toplology, differ in the form of connection – addition vs concatenation. ResNet,densenet,dual path network,mixnet,sparsenet1. IntroductionResNet and ...原创 2019-03-17 11:48:11 · 431 阅读 · 0 评论 -
Residual attention network for image classification
Residual attention network for image classificationAbstract: Our residual attention network is built by stacking attention modules which generate attention-aware features. Bottom-up top-down反馈结构。我们提...原创 2019-03-17 11:32:48 · 1224 阅读 · 0 评论 -
Total recall understanding traffic signs using deep hierarchical convolutional neural network
Total recall understanding traffic signs using deep hierarchical convolutional neural networkGerman sign recognition benchmark (GTSRB) 99.33%Belgian traffic sign classification benchmark 99.1...原创 2019-03-17 11:24:51 · 246 阅读 · 0 评论 -
CBAM: Convolutional Block Attwnrion Module
CBAM: Convolutional Block Attwnrion ModuleAbstract: We propose convolutional block attention module (CBAM). 给定一个特征图,我们的模型能够从两个分离的维度进行推理,通道和空间,然后,特征图乘上原来输入的特征图进行特征的调整。CBAM是轻量级的一般的module,他可以集成到任何CNN中。...原创 2019-03-16 09:33:12 · 335 阅读 · 0 评论 -
Switchable Normalization
Switchable NormalizationBN 会对训练过程产生更重要的影响:它使优化解空间更加平滑了,这种平滑使梯度更具有可预测性和稳定性,从而使训练过程更快。Minibatch 对 BN的影响最大,因为BN的均值和方差是在minibatch上统计的,minibatch越小,这些统计量的估计会带来更大的噪声,对模型训练产生的过大正则化,从而影响模型的泛化能力。而LN,I...原创 2019-03-16 09:30:00 · 1499 阅读 · 0 评论