- 博客(4)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Revisit Knowledge Distillation: a Teacher-free Framework
Observations通过几组实验观察到反转Knowledge Distillation(KD)即利用student来guide teacher的话，teacher的性能依然可以得到提升用一个比student还差的teacher来guide student的话，student的性能依然可以得到提升因此作者得到以下观点KD只是一种可学习的label smoothing regula...
2019-10-30 21:42:08
2061
原创 Distilling Object Detectors with Fine-grained Feature Imitation
Motivation检测起更focus在物体出现的区域 Detectors care more about local near object regions.物体出现的周围特征变化其实包含了更多重要信息，这是student网络需要向teacher网络学习的注解：与分类不同，蒸馏方法在检测中如果进行全特征模仿的话对子网络的提升很有限(这里存疑，文章没有明确指出全特征模仿了哪些特征层)。...
2019-10-30 21:30:52
1932
原创 NLP pretrained model
最近在公司听了NLP pretrained model的报告，感觉受益匪浅，特此分享。此处大量参考从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史Word Embedding词向量在自然语言处理中有着重要的角色，它将抽象的词语之间的语义关系量化成向量形式。有了良好的词向量，我们就可以做更多的工作。目前构建词向量的方式大体上分成两大类：统计方法：通过统计词语...
2019-10-27 21:12:15
873
原创 2-D CTC Loss
2D-CTC for Scene Text RecognitionMotivation普通的CTC仅支持1-d，但是文字识别不像语音识别，很多时候文字不是水平的，如果强行“压”到1d，对识别影响很大，如下图所示Review 1-D CTC首先对alphabeta进行扩充，加入blank符号，然后定义一个映射规则: blank之间的相同字符可以去重计算loss时，对每个gt labe...
2019-10-18 17:37:47
1530
1
Android内核编译后刷入手机启动不了
2015-10-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人