关注
分享
爆米花好美啊
个人网站: renguanghui.com
展开
-
Momentum Contrast for Unsupervised Visual Representation Learning
Motivation已有的利用contrastive learning做unsupervised visual representation learning要么受限于GPU不能使用大batch，要么不能保证query和key一致因此本文提出了Momentum Contrast (MoCo)，利用队列和moving-averaged encoder构建一个动态字典Review Unsuper...原创 2019-11-18 22:12:31 · 4807 阅读 · 5 评论 -
Tutorial: Knowledge Distillation
概述Knowledge Distillation(KD)一般指利用一个大的teacher网络作为监督，帮助一个小的student网络进行学习，主要用于模型压缩。其方法主要分为两大类Output DistillationFeature DistillationOutput DistillationMotivation主要拉近teacher和student最终输出的距离，参考论文：...原创 2019-11-14 22:08:40 · 704 阅读 · 0 评论 -
Knowledge Distillation via Route Constrained Optimization
Motivation已有的KD方法提升性能都是基于一个假设：teacher模型可以提供一种弱监督，且能被一个小student网络学习，但是实际上一个收敛的大网络表示空间很难被student学习，这会导致congruence loss很高因此本文提出一种策略route constrained optimization，根据参数空间的route去选择teacher的参数，一步一步的指导studen...原创 2019-11-14 22:02:15 · 1187 阅读 · 0 评论 -
FitNets: Hints for Thin Deep Nets
其实应该先早点写这篇文章的这篇文章主要是将hinton的output distillation扩展到了feature distillation该loss用来拉进student和teacher feature的距离该loss就是与hard label、soft label做cross entroy训练过程需要注意：先进行hints training，即选择某一层feature对...原创 2019-11-14 21:59:21 · 1110 阅读 · 0 评论 -
Distilling the Knowledge in a Neural Network
其实应该最先写这篇文章的总结的，之前看了忘了记录Motivationone hot label会将所有不正确的类别概率都设置为0，而一个好的模型预测出来的结果，这些不正确的类别概率是有不同的，他们之间概率的相对大小其实蕴含了更多的信息，代表着模型是如何泛化判别的。比如一辆轿车，一个模型更有可能把它预测成卡车而不是猫，这其实给出了比one hot label更多的信息即轿车和卡车更像，而和...原创 2019-11-14 21:55:59 · 254 阅读 · 0 评论 -
Correlation Congruence for Knowledge Distillation
Motivation目前大多数KD框架的pipeline一张图片送入teacher和student得到各自的feature和output然后定义loss，拉进feature或者output的距离但是他们都是直接在一个整图级别上做的，student很难学习到teacher的那种处理类内和类间的能力如下图：白色空心圈是期望学习到的效果左边是期望类间可以拉开，右边是期望类内可以聚拢M...原创 2019-11-14 21:53:02 · 701 阅读 · 0 评论 -
A Comprehensive Overhaul of Feature Distillation
MotivationClovaAI今年ICCV做了还几篇总结性的工作，该篇也类似，先总结当下做feature distillation的各个方向，总体的pipeline是选取student和teacher网络结构的某个位置然后对特征进行变换，最后拉进他们的距离Teacher transform: 为了让teacher和student的feature map一样大(空间或者通道)，会对teac...原创 2019-11-07 20:53:33 · 2975 阅读 · 0 评论 -
Attention Transfer
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention TransferMotivation大量的论文已经证明Attention在CV、NLP中都发挥着巨大的作用，因为本文利用Attention做KD，即让student学习tea...原创 2019-11-07 20:48:05 · 1732 阅读 · 0 评论 -
Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation
Loss Source 1: Cross entropy loss，各个阶段的分类器都有Loss Source 2: KL loss，深层的分类器作为浅层分类器的teacherLoss Source 3: L2 loss from hints，深层分类器的特征和浅层分类器的特征做L2 loss，bottleneck即feature adaptation，为了使student和teacher一...原创 2019-11-07 20:44:43 · 1350 阅读 · 0 评论 -
Similarity-Preserving Knowledge Distillation
Motivation下图可以发现，语义相似的输入会产生相似的激活。这个非常好理解，这个C维的特征向量可以代表该输入的信息因此本文根据该观察提出了一个新的蒸馏loss，即一对输入送到teacher中产生的特征向量很相似，那么送到student中产生的特征向量也应该很相似，反义不相似的话同样在student也应该不相似。该loss被称为Similarity-preserving，这样studen...原创 2019-11-05 22:04:14 · 3442 阅读 · 0 评论 -
On the Efficacy of Knowledge Distillation
Motivation实验观察到：并不是性能越好的teacher就能蒸馏(教)出更好的student，因此本文想梳理出影响蒸馏性能的因素推测是容量不匹配的原因，导致student模型不能够mimic teacher，反而带偏了主要的loss之前解决该问题的做法是逐步的进行蒸馏，但是效果也不好。左边Teacher为WRN k-1，k是深度，Student是WRN16-1和DN40-12(D...原创 2019-11-01 19:05:54 · 1614 阅读 · 0 评论 -
Revisit Knowledge Distillation: a Teacher-free Framework
Observations通过几组实验观察到反转Knowledge Distillation(KD)即利用student来guide teacher的话，teacher的性能依然可以得到提升用一个比student还差的teacher来guide student的话，student的性能依然可以得到提升因此作者得到以下观点KD只是一种可学习的label smoothing regula...原创 2019-10-30 21:42:08 · 2024 阅读 · 0 评论 -
Distilling Object Detectors with Fine-grained Feature Imitation
Motivation检测起更focus在物体出现的区域 Detectors care more about local near object regions.物体出现的周围特征变化其实包含了更多重要信息，这是student网络需要向teacher网络学习的注解：与分类不同，蒸馏方法在检测中如果进行全特征模仿的话对子网络的提升很有限(这里存疑，文章没有明确指出全特征模仿了哪些特征层)。...原创 2019-10-30 21:30:52 · 1885 阅读 · 0 评论 -
2-D CTC Loss
2D-CTC for Scene Text RecognitionMotivation普通的CTC仅支持1-d，但是文字识别不像语音识别，很多时候文字不是水平的，如果强行“压”到1d，对识别影响很大，如下图所示Review 1-D CTC首先对alphabeta进行扩充，加入blank符号，然后定义一个映射规则: blank之间的相同字符可以去重计算loss时，对每个gt labe...原创 2019-10-18 17:37:47 · 1463 阅读 · 1 评论 -
R-FCN解读
最近一直做检测，发现检测领域好多好玩的东西啊，R-FCN是msra dai老师和kaiming做的，insight很赞，这次翻出来再学习一下。最近旷视科技又发了light RCNN，检测这领域真是日新月异。原创 2017-11-25 16:05:00 · 11527 阅读 · 0 评论 -
Resnet实现细节记录
Resnet# 注意BasicBlock和Bottleneckdef resnet18(pretrained=False, **kwargs): model = ResNet(BasicBlock, [2, 2, 2, 2], **kwargs) return modeldef resnet34(pretrained=False, **kwargs): model =...原创 2018-12-10 16:25:43 · 4578 阅读 · 0 评论 -
Deformable ConvNets v2: More Deformable, Better Results
之前介绍过dai老师的DCN v1Deformable Convolutional Networks解读，现在出了V2效果更赞，实验分析也很充分。分析DCNEffective receptive fields视野域中每个点对响应的不同，有效视野域即为输入扰动后对输出的影响程度。比如求conv2上某一位置的有效视野域，那就依次扰动图像观察该位置处的输出变化，导致输出变化剧烈的像素点它的...原创 2018-12-11 13:56:32 · 1295 阅读 · 1 评论 -
strided convolution vs pooling
strided convolution vs pooling原创 2019-01-04 11:28:49 · 4946 阅读 · 2 评论 -
DenseNet记录
MotivationResnet的特征有重复，测试时随机去掉一些residual block，对精度的影响很小Resnet的变种InceptionNet、ResNext等是扩宽网络的width来提升性能基于上，densenet利用feature reuse的思想来提升网络性能，每一层的输入都包含之前的输入层，如果这样就会导致channel越来越大，但因为特征得到了复用，因此每一层的cha...原创 2019-01-01 20:10:55 · 775 阅读 · 0 评论 -
Maxout netword and and NIN(Network in Network)
转载自论文笔记 《Maxout Networks》 && 《Network In Network》，有少量补充各用一句话概括常规卷积层： conv→relumaxout： several conv(full)→maxNIN： serveral conv→relu→conv(1x1)→relu具体一点常规卷积层：conv→reluconv: conv_out=∑(...原创 2019-01-13 15:25:46 · 275 阅读 · 0 评论 -
卷积神经网络结构简述（二）Inception系列网络
Inception是电影《盗梦空间》的外文原名，寓意是起点/开端，里面有一句经典的台词是: “we need to go deeper”，Inception Network取名于此卷积神经网络结构简述（二）Inception系列网络WILL深度学习搬砖者关注他50 人赞了该文章作为一名初入茅庐的搬砖者，最近在用深度学习做图像分类任务，粗略的学习了下卷积神经网络近几年结构的升级。根据个人的理...转载 2019-01-13 15:52:39 · 4798 阅读 · 0 评论 -
style transfer/domain adaption简介
Texture Synthesis Using Convolutional Neural NetworksImage Style Transfer Using Convolutional Neural Networks 16年cvpr和A neural algorithm of artistic style. 15年8月一样的吧开篇之作，送入一张噪音图片，然后通过content和style ...原创 2019-02-11 20:45:40 · 1308 阅读 · 0 评论 -
anchor free系列检测方法
one stage和two stage是目标检测的主流方法，最近由deng老板引领的anchor free方法另辟蹊径，以关键点检测为基础来做检测，也算是one stage的一种吧CornerNetExtremNetCenterNet(Objects as Points)超喜欢的一篇工作...原创 2019-04-29 16:33:10 · 7505 阅读 · 0 评论 -
TridentNet解读
检测领域一直存在一个scale variation问题，大小物体对视野域的需要是不一样的，deformable cnn的作者daijifeng老师就提到一个说法：最好的视野域就是刚好“覆盖自己”，不要太大也不要太小。前人有3种途径利用RCNN去原图上扣proposal，强制使得所有物体的视野域就是自己 Revisiting RCNN: On Awakening the Classificat...原创 2019-04-25 12:01:56 · 2139 阅读 · 0 评论 -
CTC Loss和Focal CTC Loss
最近一直在做手写体识别的工作，其中有个很重要的loss那就是ctc loss，之前在文档识别与分析课程中学习过，但是时间久远，早已忘得一干二净，现在重新整理记录下本文大量引用了- CTC Algorithm Explained Part 1：Training the Network（CTC算法详解之训练篇），只是用自己的语言理解了一下，原论文：Connectionist Temporal C...原创 2019-07-24 17:48:27 · 4222 阅读 · 0 评论 -
Mask RCNN细节记录
精度问题在FPN论文中有个表格显示 C5+2fc要比C4+C5差很多，这里的原因一是C5+2fc的stride为32，feature map太小了，anchor数量也少，RPN的召回率太低了，第二个原因应该是RoIPooling造成的偏差影响更大了，因为stride太大了(这个原因待定，不知道对box分支的影响有多大，但可以肯定的是对mask 分支影响很大，下面会细讲)下面这个表格来自Ma...原创 2018-12-20 16:40:54 · 961 阅读 · 0 评论 -
Revisiting RCNN: On Awakening the Classification Power of Faster RCNN
之前听过该文作者Yunchao Wei给的一个talk，当时仔细思考这篇论文，只是感觉加了参数肯定会变好呀，但是实际上该文在探索检测任务中分类和定位的关系。实际上，检测任务中有很多值得探讨的东西，比如之前博客讲过的一篇论文在探究训练和测试尺寸一致的问题，这些点看似都很小，但是我之前一直都是猜测得出结论，没有仔细探究过，分割也有这样的问题。还有就是Multi Task的好处与坏处，比如分割中前背景...原创 2018-12-06 11:52:35 · 1885 阅读 · 4 评论 -
End-to-End Learning of Motion Representation for Video Understanding
本文TVNet(Total Variable)是在TV-L1的基础上，改变一些操作变成可以训练且速度提高。原创 2018-11-25 14:33:19 · 464 阅读 · 0 评论 -
FSSD解读
本文是SSD的改进版，算是SSD+FPN思想的结合。原创 2017-12-28 21:54:02 · 18986 阅读 · 5 评论 -
mask rcnn解读
上一篇中介绍faster rcnn，这次mask 基本在上次的基础上加了点代码，参考和引用1. mask rcnn slides 2. kaiming he maskrcnn 3. Ardian Umam mask rcnn，欢迎fork简版mask rcnn。原创 2017-11-21 00:08:52 · 16109 阅读 · 11 评论 -
CapsuleNet的一个小例子
引用YouTube上一个up主的视频，讲解一个capsulenet的一个小例子。原创 2018-01-01 21:41:08 · 1981 阅读 · 0 评论 -
CapsuleNet解读
最近hinton很早就提出了一个结构名为capsule，旨在解决cnn的固有缺点，本文是第一篇实现hinton capsule结构的论文Dynamic Routing Between Capsules，本文很大程度上翻译自“Understanding Dynamic Routing between Capsules (Capsule Networks)” 代码来自: XifengGuo Cap原创 2017-12-05 22:53:45 · 23197 阅读 · 3 评论 -
Light-Head R-CNN解读
detection新作Light-Head R-CNN原创 2017-11-27 20:48:36 · 1215 阅读 · 0 评论 -
Deformable Convolutional Networks解读
这篇论文是daijifeng老师又一篇好文，一贯的好想法，而且实现的很漂亮。原创 2017-12-14 17:42:22 · 16352 阅读 · 15 评论 -
YOLO解读
上一篇讲了region-free结构的检测模型SSD，这次region-free的鼻祖You Only Look Once: Unified, Real-Time Object Detection，这是它的第一个版本，它还有v2，以后再讲。原创 2017-11-30 17:03:50 · 4945 阅读 · 0 评论 -
FPN解读
前两篇博客中都说到了FPN这个神器，今天就花了点时间看了下这篇论文，喜欢这个很赞很干净的结构。原创 2017-11-29 00:34:41 · 27183 阅读 · 19 评论 -
More is Less: 卷积神经网络加速
通过添加一个辅助预测层实现神经网络加速原创 2017-05-05 22:17:47 · 1833 阅读 · 6 评论 -
光流介绍以及FlowNet学习笔记
FlowNet: Learning Optical Flow with Convolutional Networks pdf与相关代码: https://lmb.informatik.uni-freiburg.de/resources/binaries/光流(Optical Flow)介绍1. 光流原理光流分为稀疏光流和稠密光流，稀疏光流就是只计算图片中特定点的光...原创 2017-05-04 23:07:20 · 36367 阅读 · 21 评论 -
SSD: Single Shot MultiBox Detector解读
此SSD非彼SSD，不过都有一个特点快，我之前读过了这篇，这次算是重温，而且前面介绍了很多检测网络，尤其是FPN时更是对SSD有一个很根本的解读，所以这篇博客算是一个SSD精华介绍，哈哈。贡献和特点SSD最大的贡献，就是在多个feature map上进行预测，这点我在上一篇FPN也说过它的好处，可以适应更多的scale。第二个是用小的卷积进行分类回归，区别于YOLO及其faster原创 2017-11-29 23:22:33 · 4818 阅读 · 8 评论 -
faster rcnn源码解析
之前一直是使用faster rcnn对其中的代码并不是很了解，这次刚好复现mask rcnn就仔细阅读了faster rcnn，主要参考代码是pytorch-faster-rcnn ，部分参考和借用了以下博客的图片 [1] CNN目标检测（一）：Faster RCNN详解姊妹篇mask rcnn解析整体框架首先图片进行放缩到W*H，然后送入vgg16(去掉...原创 2017-11-20 23:50:01 · 39849 阅读 · 17 评论