2020-07-01 CVPR2020 表示学习论文讨论（2） 笔记

[1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie

• 低秩在图像处理中应用广泛，可以看做是一种约束
• 利用核范数做松弛，在低秩中应用比较广泛
• 国内低秩方面做的比较好的学者 西工大聂飞平 北大林宙辰 浙大蔡登

[2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint

• 传统方法中，压缩比率是超参数，通过黑盒优化，自动完成压缩比率的搜索
• 本文方法：剪枝、自动、端到端、没有黑盒优化、没有新的超参数
• 本文的建模方法非常值得学习，将网络压缩建模为约束求解，并转换为0-1背包问题

[3] CVPR2020_Cogradient Descent for Bilinear Optimization

• 双线性优化中，假设两个变量相互独立，非同步收敛，计算梯度时易出现梯度消失
• 本文假设两个变量是相互耦合的，更新时分两种情况，当非同步收敛时使用一种（投影函数方法），否则使用相互独立的方法，最终达到相同收敛速度。

[4] CVPR2020_Adaptive Subspaces for Few-Shot Learning

• 提出了更合适的度量方法
• 动态变化分类？
• subspace是根据样本确定的，整个模型的训练过程，训练的是backbone的参数，想让类间距离变大、类内距离变小，给我的感觉就是一个参数化的聚类算法。
• 为啥要用subspace？文中其实没给出一个合理的解释。

[5] CVPR2020_Learning to Forget for Meta-Learning

• 大部分方法都是学一个初始化，本文认为不同任务之间存在冲突，初始化可能不合理。
• 本文选择遗忘一些初始化，对不同任务，生成不同的初始化点。
• 写论文时，可以可视化motivation，比单纯的文本描述更清晰。

[6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss

• metric learning中，比较重要的概念是margin。比如，相同类别的margin应小于一个阈值，不同类别的margin应大于一个阈值。
• 本文的想法是，不同类之间的margin不应是固定的、预设的。如为了更好地分类“狗”和“猫”，训练时，这两类之间的margin应该更大。本文方法会对不同的类别对，生成不同的margin。

总结

多看论文多思考，解决的问题要清晰、明确。