自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Sundrops的专栏

deep learning

原创 捕捉SIGKILL信号(kill -9)

-9 KILL (non-catchable, non-ignorable kill) kill -9 is SIGKILL and Unix system by design doesn’t allow any script/program to trap SIGKILL due to secu...

2020-02-10 16:22:49 377 0

原创 Momentum Contrast for Unsupervised Visual Representation Learning

Motivation 已有的利用contrastive learning做unsupervised visual representation learning要么受限于GPU不能使用大batch,要么不能保证query和key一致 因此本文提出了Momentum Contrast (MoCo),...

2019-11-18 22:12:31 939 4

原创 Tutorial: Knowledge Distillation

概述 Knowledge Distillation(KD)一般指利用一个大的teacher网络作为监督,帮助一个小的student网络进行学习,主要用于模型压缩。 其方法主要分为两大类 Output Distillation Feature Distillation Output Disti...

2019-11-14 22:08:40 151 0

原创 Knowledge Distillation via Route Constrained Optimization

Motivation 已有的KD方法提升性能都是基于一个假设:teacher模型可以提供一种弱监督,且能被一个小student网络学习,但是实际上一个收敛的大网络表示空间很难被student学习,这会导致congruence loss很高 因此本文提出一种策略route constrained o...

2019-11-14 22:02:15 153 0

原创 FitNets: Hints for Thin Deep Nets

其实应该先早点写这篇文章的 这篇文章主要是将hinton的output distillation扩展到了feature distillation 该loss用来拉进student和teacher feature的距离 该loss就是与hard label、soft label做cross ...

2019-11-14 21:59:21 112 0

原创 Distilling the Knowledge in a Neural Network

其实应该最先写这篇文章的总结的,之前看了忘了记录 Motivation one hot label会将所有不正确的类别概率都设置为0,而一个好的模型预测出来的结果,这些不正确的类别概率是有不同的,他们之间概率的相对大小其实蕴含了更多的信息,代表着模型是如何泛化判别的。 比如一辆轿车,一个模型更有...

2019-11-14 21:55:59 41 0

原创 Correlation Congruence for Knowledge Distillation

Motivation 目前大多数KD框架的pipeline 一张图片送入teacher和student得到各自的feature和output 然后定义loss,拉进feature或者output的距离 但是他们都是直接在一个整图级别上做的,student很难学习到teacher的那种处理类内和类...

2019-11-14 21:53:02 51 0

原创 A Comprehensive Overhaul of Feature Distillation

Motivation ClovaAI今年ICCV做了还几篇总结性的工作,该篇也类似,先总结当下做feature distillation的各个方向,总体的pipeline是选取student和teacher网络结构的某个位置然后对特征进行变换,最后拉进他们的距离 Teacher transfor...

2019-11-07 20:53:33 472 0

原创 Attention Transfer

Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer Motivation 大量的论文已经证明Attention在...

2019-11-07 20:48:05 229 0

原创 Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation

Loss Source 1: Cross entropy loss,各个阶段的分类器都有 Loss Source 2: KL loss,深层的分类器作为浅层分类器的teacher Loss Source 3: L2 loss from hints,深层分类器的特征和浅层分类器的特征做L2 loss...

2019-11-07 20:44:43 126 0

原创 Similarity-Preserving Knowledge Distillation

Motivation 下图可以发现,语义相似的输入会产生相似的激活。这个非常好理解,这个C维的特征向量可以代表该输入的信息 因此本文根据该观察提出了一个新的蒸馏loss,即一对输入送到teacher中产生的特征向量很相似,那么送到student中产生的特征向量也应该很相似,反义不相似的话同样在st...

2019-11-05 22:04:14 400 0

原创 On the Efficacy of Knowledge Distillation

Motivation 实验观察到:并不是性能越好的teacher就能蒸馏(教)出更好的student,因此本文想梳理出影响蒸馏性能的因素 推测是容量不匹配的原因,导致student模型不能够mimic teacher,反而带偏了主要的loss 之前解决该问题的做法是逐步的进行蒸馏,但是效果也不好...

2019-11-01 19:05:54 242 0

原创 Revisit Knowledge Distillation: a Teacher-free Framework

Observations 通过几组实验观察到 反转Knowledge Distillation(KD)即利用student来guide teacher的话,teacher的性能依然可以得到提升 用一个比student还差的teacher来guide student的话,student的性能依然可...

2019-10-30 21:42:08 268 0

原创 Distilling Object Detectors with Fine-grained Feature Imitation

Motivation 检测起更focus在物体出现的区域 Detectors care more about local near object regions. 物体出现的周围特征变化其实包含了更多重要信息,这是student网络需要向teacher网络学习的 注解: 与分类不同,蒸馏方法在...

2019-10-30 21:30:52 333 0

原创 NLP pretrained model

最近在公司听了NLP pretrained model的报告,感觉受益匪浅,特此分享。此处大量参考从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 Word Embedding 词向量在自然语言处理中有着重要的角色,它将抽象的词语之间的语义关系量化成向量形式。有了良...

2019-10-27 21:12:15 143 0

原创 2-D CTC Loss

2D-CTC for Scene Text Recognition Motivation 普通的CTC仅支持1-d,但是文字识别不像语音识别,很多时候文字不是水平的,如果强行“压”到1d,对识别影响很大,如下图所示 Review 1-D CTC 首先对alphabeta进行扩充,加入blank...

2019-10-18 17:37:47 299 0

原创 CTC Loss和Focal CTC Loss

最近一直在做手写体识别的工作,其中有个很重要的loss那就是ctc loss,之前在文档识别与分析课程中学习过,但是时间久远,早已忘得一干二净,现在重新整理记录下 本文大量引用了- CTC Algorithm Explained Part 1:Training the Network(CTC算法...

2019-07-24 17:48:27 778 0

原创 头条面试题-统计有序数组里平方和的数目

#include <iostream> using namespace std; int get_square_n(int*a, int i, int j){ int cnt = 0; while(i < j){ while(i<j && ...

2019-07-21 12:13:39 65 0

原创 最大连通域

#include <iostream> using namespace std; int max_area=0; void dfs(int a[][10], int i, int j, int h, int w, int flag, int area){ a[i][j] = -...

2019-07-21 11:08:18 756 0

原创 c++静态库链接顺序引发的bug

最近做个OpenCV的项目,搞了半个月一直解决不了,最后发现是静态库链接顺序的问题 问题描述以及解决办法 最近用emsdk将c/c++转到wasm,用到emsdk里面./emcc来编译c/c++,注意emsdk自带的clang版本是clang3.x # Makefile -lopencv_cor...

2019-06-11 22:21:06 968 0

原创 graphcut/banded graphcut/grabcut解读

最近手头有个项目需要加速graph cut,这里就参考一篇论文banded graph cut: A Multilevel Banded Graph Cuts Method for Fast Image Segmentation(链接: https://pan.baidu.com/s/1-1Wjl...

2019-06-11 21:51:55 176 0

原创 int8量化和tvm实现

量化主要有两种方案 直接训练量化模型如Deepcompression,Binary-Net,Tenary-Net,Dorefa-Net 对训练好的float模型(以float32为例)直接进行量化(以int8为例),这边博客主要讲这个 int8量化原理 将已有的float32型的数据改成A ...

2019-05-17 16:55:23 2685 4

原创 C++类对象的内存模型

虚函数表 #include using namespace std; class Father { public: Father(){}; void ShowName(){ cout"Father"<<endl; } ...

2019-05-06 15:40:55 758 0

原创 c++隐藏

今天才知道c++继承里面的隐藏特性,真是孤陋寡闻了。 #include <iostream> using namespace std; class A { public: void print() {cout<<"A"<<e...

2019-04-30 14:55:07 418 0

原创 对象切片(object slicing)和多态

在函数传参处理多态性时,如果一个派生类对象在UpCasting时,用的是传值的方式,而不是指针和引用,那么,这个派生类对象在UpCasting以后,将会被slice成基类对象。https://www.zhihu.com/question/30570897/answer/48574116 htt...

2019-04-30 11:52:49 417 0

原创 贪心、递归和动态规划

贪心 每个阶段的最优状态都是由上一个阶段的最优状态得到的而上一状态是如何得到的 动态规划 每个阶段的最优状态可以从之前某个阶段的某个或某些状态直接得到而不管之前这个状态是如何得到的 举例: 每个阶段的最优状态由上一阶段的某些(所有)状态有关,而不管上一段的各种状态是怎么得到的 多段图

2019-04-30 11:19:06 144 0

原创 anchor free系列检测方法

one stage和two stage是目标检测的主流方法,最近由deng老板引领的anchor free方法另辟蹊径,以关键点检测为基础来做检测,也算是one stage的一种吧 CornerNet ExtremNet CenterNet(Objects as Points) 超喜欢的一篇工作...

2019-04-29 16:33:10 3480 0

原创 TridentNet解读

检测领域一直存在一个scale variation问题,大小物体对视野域的需要是不一样的,deformable cnn的作者daijifeng老师就提到一个说法:最好的视野域就是刚好“覆盖自己”,不要太大也不要太小。前人有3种途径 利用RCNN去原图上扣proposal,强制使得所有物体的视野域...

2019-04-25 12:01:56 916 0

原创 Mobilenet v1/2和Shufflenet v1/v2

好久没写深度学习方面的文章了,偷闲再写一篇 衡量指标 FLOPS:floating point operations per second,每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。 FLOPs:floating point operations,浮点运算数,理解为计算量。可...

2019-04-10 17:32:00 262 0

原创 LeetCode11-盛最多水的容器

/* * @lc app=leetcode.cn id=11 lang=cpp * * [11] 盛最多水的容器 * * https://leetcode-cn.com/problems/container-with-most-water/description/ * * algor...

2019-03-05 22:09:00 89 0

原创 LeetCode4:两个排序数组的中位数

问题 /* * @lc app=leetcode.cn id=4 lang=cpp * * [4] 寻找两个有序数组的中位数 * * https://leetcode-cn.com/problems/median-of-two-sorted-arrays/description/ * ...

2019-03-05 21:22:59 115 0

原创 Leetcode

要找工作了,基础算法太菜了,写个归并排序都要想一下才能写,要好好刷LeetCode了,好好记录刷题过程。

2019-03-03 22:57:03 64 0

原创 normalization专题

normalization大体分为3类feature normalization、weight normalization和gradient normalization,本文主要讲feature normalization,其他两个涉及的数学较多,一时无法理清 Feature normaliza...

2019-02-23 16:41:18 324 0

原创 style transfer/domain adaption简介

Texture Synthesis Using Convolutional Neural Networks Image Style Transfer Using Convolutional Neural Networks 16年cvpr 和A neural algorithm of artisti...

2019-02-11 20:45:40 434 0

转载 卷积神经网络结构简述(二)Inception系列网络

Inception是电影《盗梦空间》的外文原名,寓意是起点/开端,里面有一句经典的台词是: “we need to go deeper”,Inception Network取名于此 卷积神经网络结构简述(二)Inception系列网络WILL深度学习搬砖者​关注他50 人赞了该文章作为一...

2019-01-13 15:52:39 1504 0

原创 Maxout netword and and NIN(Network in Network)

转载自论文笔记 《Maxout Networks》 &amp;&amp; 《Network In Network》,有少量补充 各用一句话概括 常规卷积层: conv→relu maxout: several conv(full)→max NIN: serveral conv→...

2019-01-13 15:25:46 135 0

原创 Python 的 import 机制

转载自[Python 的 import 机制](https://loggerhead.me/posts/python-de-import-ji-zhi.html)

2019-01-11 14:28:27 97 0

原创 Python模块搜索路径

Python模块搜索路径

2019-01-11 14:06:15 112 0

原创 strided convolution vs pooling

strided convolution vs pooling

2019-01-04 11:28:49 1839 2

原创 DenseNet记录

Motivation Resnet的特征有重复,测试时随机去掉一些residual block,对精度的影响很小 Resnet的变种InceptionNet、ResNext等是扩宽网络的width来提升性能 基于上,densenet利用feature reuse的思想来提升网络性能,...

2019-01-01 20:10:55 413 0

提示
确定要删除当前文章?
取消 删除