目录
- [1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie
- [2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint
- [3] CVPR2020_Cogradient Descent for Bilinear Optimization
- [4] CVPR2020_Adaptive Subspaces for Few-Shot Learning
- [5] CVPR2020_Learning to Forget for Meta-Learning
- [6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss
- 总结
[1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie
- 低秩在图像处理中应用广泛,可以看做是一种约束
- 利用核范数做松弛,在低秩中应用比较广泛
- 国内低秩方面做的比较好的学者 西工大聂飞平 北大林宙辰 浙大蔡登
[2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint
- 传统方法中,压缩比率是超参数,通过黑盒优化,自动完成压缩比率的搜索
- 本文方法:剪枝、自动、端到端、没有黑盒优化、没有新的超参数
- 本文的建模方法非常值得学习,将网络压缩建模为约束求解,并转换为0-1背包问题
[3] CVPR2020_Cogradient Descent for Bilinear Optimization
- 双线性优化中,假设两个变量相互独立,非同步收敛,计算梯度时易出现梯度消失
- 本文假设两个变量是相互耦合的,更新时分两种情况,当非同步收敛时使用一种(投影函数方法),否则使用相互独立的方法,最终达到相同收敛速度。
[4] CVPR2020_Adaptive Subspaces for Few-Shot Learning
- 提出了更合适的度量方法
- 动态变化分类?
- subspace是根据样本确定的,整个模型的训练过程,训练的是backbone的参数,想让类间距离变大、类内距离变小,给我的感觉就是一个参数化的聚类算法。
- 为啥要用subspace?文中其实没给出一个合理的解释。
[5] CVPR2020_Learning to Forget for Meta-Learning
- 大部分方法都是学一个初始化,本文认为不同任务之间存在冲突,初始化可能不合理。
- 本文选择遗忘一些初始化,对不同任务,生成不同的初始化点。
- 写论文时,可以可视化motivation,比单纯的文本描述更清晰。
[6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss
- metric learning中,比较重要的概念是margin。比如,相同类别的margin应小于一个阈值,不同类别的margin应大于一个阈值。
- 本文的想法是,不同类之间的margin不应是固定的、预设的。如为了更好地分类“狗”和“猫”,训练时,这两类之间的margin应该更大。本文方法会对不同的类别对,生成不同的margin。
总结
多看论文多思考,解决的问题要清晰、明确。