每日论文速读

2022.02.23

[1] Convolutional Neural Network Modelling for MODIS Land Surface Temperature Super-Resolution
论文链接： https://arxiv.org/abs/2202.10753
主要贡献：这篇文章是应用型的，用Unet网络做了一个卫星图像超分的任务， 把MODIS卫星生成的表面温度图像的分辨率由1km超分辨到250m.网络部分基本是沿用标准的Unet, 做了一些微调。

[2] A Survey of Vision-Language Pre-Trained Models
论文链接： https://arxiv.org/abs/2202.10936
主要贡献： 综述了Vision-Language Pre-Trained Models的常用模型， 并进行了比较分析。

[3] A Novel Architecture Slimming Method for Network Pruning and Knowledge Distillation
论文链接：https://arxiv.org/abs/2202.10461
主要贡献：已有的模型剪枝和蒸馏方法存在大量的人工参与以及很多的试错， 本文提出了一种自动的方法，基本思想是寻找最少数量的滤波器同时最大程度保留参数的方差，使用了PCA方法。

[4] Increasing Depth of Neural Networks for Life-long Learning
论文链接：Increasing Depth of Neural Networks for Life-long Learning
主要贡献: 论文提出了一种算法通过添加模块加深网络来进行持续学习。

2022.02.22

[1] Survey on Large Scale Neural Network Training
论文链接： https://arxiv.org/abs/2202.10435
主要贡献： 总结了有效的训练大模型的方法， 包括单GPU上的训练和多GPU的训练。这些方法包括并行， 低比特量化等等。

[2] Transformer Quality in Linear Time
论文链接：https://arxiv.org/abs/2202.10447
主要贡献：提出了一种新的线性transformer的方法。关于线性Transformer的工作有很多， 像cosFormer ,LinFormer, Linear Transformer, Reformer等等。 这篇文章跟其他方法的异同点有待详细分析。

[3] Cross-Task Knowledge Distillation
论文链接： https://arxiv.org/abs/2202.09852
主要贡献：提出了一种跨任务的知识蒸馏方法。

[4] Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution
论文链接：https://arxiv.org/abs/2202.10054
主要贡献：一般我们认为finetune是能提升模型在下游任务上的效果的， 这篇文章分析了在一些情况下finetune可能是有害的。 finetune有2种常见做法，一种是全部finetune, 即模型的所有参数都调整；另一种是部分finetune, 一般是冻结前面的一些层， 只调整最后的一些线性层。 对ID的场景， 2种方式都能提升，且第一种方式好于第二种；对OOD的场景， 第一种方式比第二种方式差。 作者同时给出了一些理论上的证明。

2022.02.21

[1] Cyclical focal loss
论文链接：https://arxiv.org/abs/2202.08978
主要贡献：提出了一种新的周期性的focal loss, 并证明了它比交叉熵loss 和focal loss 更加通用， 在多个数据平衡/不平衡的任务上都取得了较好的结果。

[2] DataMUX: Data Multiplexing for Neural Networks
论文链接：https://arxiv.org/abs/2202.09318
主要贡献： 提出了一种数据多路复用的技术， 可以让神经网络同时处理多路输入， 从而增加模型的吞吐量。 具体做法是， 把多路输入通过一个线性层组合成一路， 模型的输出再转化成多路。

[3] IS CROSS-ATTENTION PREFERABLE TO SELF-ATTENTIONFOR MULTI-MODAL EMOTION RECOGNITION?
论文链接: https://arxiv.org/abs/2202.09263
主要贡献： 通过实验证明了在多模态的情感识别中， 交叉注意力并不优于自注意力。

[4] Quantifying the Effects of Data Augmentation
论文链接：https://arxiv.org/abs/2202.09134
主要贡献：理论上说明了数据增强的影响，得到了一点跟直觉不太一致的结论： 数据增强可能会增加估计的不确定性， 而不是减少确定性。

[5] Rethinking Pareto Frontier for Performance Evaluation of DNN
论文链接： https://arxiv.org/abs/2202.09275
主要贡献: 虽然标题是rethinking, 其实完全谈不上rethinking。只是提到传统的parato front 会存在指标测量不准导致偏差的问题，文章采用蒙特卡洛仿真， 从一个分布中采样多个数据， 从而减少偏差。