计算机视觉-Paper&Code
文章平均质量分 92
子韵如初
缘起性空,子韵如初
展开
-
Paper Reading - Loss系列 - Focal Loss for Dense Object Detection
确实发现大神的文章都比较简单明了实用 - ICCV2017计算机视觉-Paper&Code - 知乎Abstract总结主要为以下几点OHEM算法虽然增加了错分类样本的数量,但是直接把容易样本扔掉了,可会导致过杀率上升,作者同时也做了对比实验,AP有3.+的提升 Focal Loss可以通过减少易分类样本的权重,使得模型在训练时更专注于难分类的样本下面这张图展示了 Focal Loss 取不同的gama时的损失函数下降。Algorithm文章对最基本的对交叉熵进行改进,作原创 2022-05-08 22:46:46 · 2728 阅读 · 60 评论 -
Paper Reading - 综述系列 - 计算机视觉领域中目标检测任务常见问题与解决方案
目录小目标检测数据方面Label Smoothing模型方面样本不均衡目标遮挡More更多可见计算机视觉-Paper&Code - 知乎小目标检测数据方面将图像resize成不同的大小 对小目标进行数据增强,过采样策略oversampling,重复正样本数 在图片内用实例分割的Mask抠出小目标图片再使用paste等方法常见的几种数据增强方法如下cutout:将图片区域随机扣除 cutmix:将cutout扣除后的区域用同一batch中样本进行原创 2022-05-05 10:11:45 · 7062 阅读 · 72 评论 -
Paper Reading - 综述系列 - Hyper-Parameter Optimization(下)
更多可见计算机视觉-Paper&Code - 知乎目录搜索策略网格搜索随机搜索贝叶斯优化结论接着上一篇继续说搜索策略网格搜索将每个超参数的搜索空间离散化为笛卡尔积。然后使用每个超参数配置独立并行的进行训练,最后选择最好的。简单粗暴且会导致维度灾难,训练次数与超参数量成指数关系随机搜索网格搜索的一种变体,从某个参数分布中随机采样可能的参数值进行实验,搜索过程持续到候选集耗尽,或者性能满足条件为止。与网格搜索相比,随机搜索有以下优点:随机搜索的各个原创 2022-05-03 11:31:57 · 2922 阅读 · 26 评论 -
Paper Reading - 综述系列 - Hyper-Parameter Optimization(上)
自开发深度神经网络以来,几乎在日常生活的每个方面都给人类提供了比较理性的建议。但是,尽管取得了这一成就,神经网络的设计和训练仍然是具有很大挑战性和不可解释性,同时众多的超参数也着实让人头痛,因此被认为是在炼丹。因此为了降低普通用户的技术门槛,自动超参数优化(HPO)已成为学术界和工业领域的热门话题。本文主要目的在回顾了有关 HPO 的最重要的主题。主要分为以下几个部分模型训练和结构相关的关键超参数,并讨论了它们的重要性和定义值范的围 HPO中主要的优化算法及其适用性,包括它们的效率和准确性 HP原创 2022-04-30 22:20:57 · 9509 阅读 · 57 评论 -
Paper Reading - 基础系列 - 常用评价指标 ROC、PR、mAP
更多可见计算机视觉-Paper&Code - 知乎目录混淆矩阵 (Confusion Matrix)查准率/精确率 Precision召回率/检出率/查全率 Recall过杀率 Kill Rate漏杀率 Miss Kill RatePR曲线、mAP(Mean-Average-Precision)ROC曲线(receiver operating characteristic curve)、AUC(Area under Curve)写了这么多突然发现忘了最重要的一原创 2022-04-28 10:11:14 · 8699 阅读 · 13 评论 -
Paper Reading - Model系列 - ShuffleNet Chanel Attention
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile DevicesPaper更多可见计算机视觉-Paper&Code - 知乎目录ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile DevicesAbstractRelated WorkChannel Shuffle深度可分离原创 2022-04-27 12:45:41 · 7473 阅读 · 14 评论 -
Paper Reading - 综述系列 - Everything you need to know about NAS(下)
目录One-ShotEfficient Nerual Architecture SearchSlimmable Neural NetworksBigNASAutoMLSummaryPaper Reading - NAS系列 - Everything you need to know about NAS - 综述 - 知乎接着上文继续说,接下来主要阐述目前主流的One-Shot NAS方法One-Shot最开始关于NAS思路是利用将神经网络模型结构抽象化,从小网络或者各原创 2022-04-27 12:43:45 · 7099 阅读 · 5 评论 -
Paper Reading - Loss系列 - 深度学习中各种常见Loss与组合综述[WIP]
目录回归误差交叉熵 CEBCECEFocal LossDice LossLovasz-Softmax Loss更多可见计算机视觉-Paper&Code - 知乎本文主要希望总结下目前学术与业界常用到的Loss函数以及其对应的优缺点回归误差两种loss不同位置的梯度情况MAE mean average error(L1损失)主要用于机器学习,回归问题中。均方误差对于异常值相对不敏感,但是由于他的梯度是一直不变的,即使loss很小梯度都非常大.原创 2022-04-24 11:43:49 · 5156 阅读 · 16 评论 -
Paper Reading - 综述系列 - Everything you need to know about NAS (上)
Paper Reading - NAS系列 - Everything you need to know about NAS - 综述 - 知乎开了新坑,Nas与AutoML系列,本文作为综述,主要阐述了作为深度学习领域的新秀的AutoML 和 NAS的发展现状以及未来预期原文enas代码AbstractAutoML 和 NAS不需要过多的工作量,他们可以使用最暴力的方式让你的机器学习任务达到非常高的准确率。既简单又有效率。那么 AutoML 和 NAS 是如何起作用的呢Neural原创 2022-04-22 16:28:58 · 14791 阅读 · 27 评论 -
Paper Reading - HRNet 系列
更多可关注计算机视觉-Paper&Code - 知乎先更新HRNet系列第一篇,留坑,炼丹的人命名都很奇怪,HRNet还以为是人力总监发的呢,OCRNet跟OCR文字识别又扯不上边,欢迎大家一起讨论学习Deep high-resolution representation learning for human pose estimationDeep high-resolution representation learning for visual recognitionH.原创 2022-03-21 21:05:59 · 28053 阅读 · 0 评论 -
Paper Reading - 基础系列 - Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
更多可关注计算机视觉-Paper&Code - 知乎Abstract恺明出品必属精品,目前在Facebook AI Research,多的不用多说。可以说这篇17年的论文即使到现在也绝不过时,其中一些思想和实验都给人很深的启发总结来说本文主要以下贡献作者展示了256GPUS的超强财力,表明batchsize不是越大越好,达到极限16k之后learning rate,validation error都降不下来 提出hyper-parameter-free linear sca..原创 2022-03-23 10:37:03 · 27643 阅读 · 11 评论 -
Paper Reading - Model系列 - LiteHRNet
Abstract更多关注计算机视觉-Paper&Code - 知乎paper codepaperHRNet由微软亚洲研究院和中科大提出,已发表于CVPR2019 王井东 IEEE fellow 目前已经加入百度AIGroup作为CV首席架构师,主要研究领域为姿态估计、分割检测工业界学术界大牛。 回顾上次分享的HRNet,在保持高分辨和高语义信息下虽然得到了很好的效果,但是没有下采样阶段,模型复杂度高,部署困难的问题。对此团队继续推出了轻量化的LiteHRNet总结来说文章主要以原创 2022-03-26 12:07:14 · 23763 阅读 · 0 评论 -
Paper Reading - 基础系列 - Batch Normalization
Google出品,难怪论文中实验都用到了InceptionVx,支持自家货,总结一下文章BN有点Covariate Shift不同分布的输入值对深度网络学习的影响,因此减少了ICS至关重要(Interval Covariate Shift由于前一层的参数更新,所以这一层的输入(前一层的输出)的分布会发生变化)。BN将数据的分布都归一化到均值为0,方差为1的分布上去。因此每一层的输入(上一层输出经过BN后)分布的稳定性都提高了,故而整体减小了网络的ICS。BN work的根本原因,是因为在网络的训练阶段原创 2022-03-26 12:05:40 · 26935 阅读 · 10 评论 -
Paper Reading - 基础系列 - Bag of Freebies for Training Object Detection Neural Networks
Bag of Freebies for Training Object Detection Neural Networks更多可见计算机视觉-Paper&Code - 知乎PaperAbstract本文和cls一样都是由AWS发出,找到了财富密码,多的不说,就是干饭sota,对于论文里面的表格真是有必要学习的,对于几个点的增加,只要缩小y轴距离看着就很明显了。总的来说在复杂的目标检测任务下,数据至关重要。其中论文中提到的以下点贡献系统地评估了各种训练trick对目标检测模型的影响原创 2022-04-19 19:07:46 · 20521 阅读 · 14 评论 -
Paper Reading - 基础系列 - Tricks for Image Classification with CNN
Bag of Tricks for Image Classification with Convolutional Neural Networks更多可见计算机视觉-Paper&Code - 知乎PaperAbstract本文由AWS发出,不愁卡,18年训练用到了8张V100。对于各个有效的训练Trick都做了对比和单一分析。通过将这些改进组合在一起,能够改进各种 CNN 模型,甚至魔改ResNet50都好过当时最新的SE-ResNeXt-50AlgorithmEffic原创 2022-04-16 19:42:03 · 18751 阅读 · 8 评论