公众号内容拓展学习笔记（2021.5.8）

公众号内容拓展学习笔记（2021.5.8）

---

📎 今日要点

1. MLP回归，无需卷积、自注意力，纯多层感知机视觉架构媲美CNN、ViT ⭐️⭐️

   • Abstract: 一种舍弃卷积和自注意力且完全使用多层感知机（MLP）的视觉网络架构 MLP-Mixer
   • Paper: MLP-Mixer: An all-MLP Architecture for Vision
   • Code: https://github.com/google-research/vision_transformer/tree/linen
   • Tips: Mixer 架构的设计思想是清楚地将按位置（channel-mixing）操作 (i) 和跨位置（token-mixing）操作 (ii) 分开，两种操作都通过 MLP 来实现

2. RepPoint及RepPointv2初探 ⭐️⭐️

   • Abstract: 基于特征采样点目标检测网络RepPoint及RepPointv2
   • Paper: RepPoints v2: Verification Meets Regression for Object Detection
   • Code: https://github.com/Scalsol/RepPointsV2
   • Tips: 给出的是RepPointsV2的论文代码以及网络结构图，相对于v1主要是通过添加辅助分支来强化了定位能力

3. 干货｜pytorch必须掌握的的4种学习率衰减策略 ⭐️⭐️

   • Abstract: pytorch必须掌握的的4种学习率衰减策略
   • Tips: 指数衰减、固定步长的衰减、多步长衰、余弦退火衰减

4. CV圈杀疯了！继谷歌之后，清华、牛津等学者又发表三篇MLP相关论文，LeCun也在发声 ⭐️⭐️

   • Abstract: MLP（多层感知机）真的有那么“丝滑”吗，它究竟有多大的潜力？
   • Tips: MLP->CNN->Transformer->MLP，真是兜兜绕绕又回来了，最近MLP的三兄弟大合集
     • External Attention——清华大学Jittor团队
     • RepMLP——清华大学丁贵广团队
     • Feed forward代替Attention ——牛津学者

5. 清华&旷视提出RepMLP：将重参数卷积嵌入到全连接层 ⭐️⭐️

   • Abstract: 将重参数卷积嵌入到全连接层的RepMLP
   • Paper: RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition
   • Code: https://github.com/DingXiaoH/RepMLP
   • Tips: 本文提出一种多层感知器风格的神经网络构建模块RepMLP用于图像识别，它有一系列的全连接层构成

6. CVPR2021 | 任何网络都能山寨！新型黑盒对抗攻击模拟未知网络进行攻击 ⭐️⭐️

   • Abstract: 新型黑盒对抗攻击模拟未知网络进行攻击
   • Paper: Inverting Generative Adversarial Renderer for Face Reconstruction
   • Code: https://github.com/machanic/SimulatorAttack
   • Tips: 攻击者可以在获知目标模型的最少量的信息的情况下成功地伪造出相似的模型，即模拟器。在攻击时，这就可以将大量的查询转移到模拟器上，从而将查询复杂度显著降低而不过多地改变成功率

📎 Others

• 由于图片权限问题，GitHub是完整版，可以点点 star
• 星标的数量是与个人相关程度，不代表文章内容的好坏
• 关注我的个人网站
• 关注我的CSDN博客
• 关注我的哔哩哔哩
• 关注我的公众号CV伴读社