公众号内容拓展学习笔记（2021.5.11）

公众号内容拓展学习笔记（2021.5.11）

---

📎 今日要点

1. AI圈真魔幻！谷歌最新研究表明卷积在NLP预训练上竟优于Transformer？LeCun暧昧表态 ⭐️⭐️

   • Abstract: 谷歌最新研究表明卷积在NLP预训练上竟优于Transformer
   • Paper: Are Pre-trained Convolutions Better than Pre-trained Transformers?
   • Tips: 通过对大量NLP任务的实验表明，在某些场景下，预训练卷积在模型质量和训练速度方面甚至优于预训练Transformers的SOTA性能

2. 高光压制、清晰边界、任意场景，谷歌人像抠图新作！有了它，以后五一足不出户游世界 ⭐️⭐️

   • Abstract: 高光压制、清晰边界、任意场景，谷歌人像抠图新作
   • Paper: Total Relighting: Learning to Relight Portraits for Background Replacement
   • Tips: 该研究的亮点和核心是通过前景蒙版（alpha matting）、重照明（relighting）和合成（compositing）进行前景估计。

3. 半监督学习与PyTorch和SESEMI ⭐️⭐️

   • Abstract: 半监督训练技术SESEMI
   • Code: https://github.com/FlyreelAI/sesemi
   • Tips: 速度上手，效果显著，非常适合比赛中使用，感觉可以不再用手工Pseudo-lable了

4. 传统方法 + 深度学习发威！ | 2021瓷砖缺陷检测总决赛冠军思路分享 ⭐️⭐️

   • Abstract: 2021瓷砖缺陷检测总决赛冠军思路分享
   • Tips: 核心就是把通过差分得到的特征在深层和浅层按通道进行拼接，和天池布匹比赛思路有点像，后续就是一个acc和map的balance的双阈值

5. Attention九层塔：注意力机制的九重理解 ⭐️⭐️

   • Abstract: 效仿EM九层塔，提出Attention九层塔
   • Tips: 对Attention进行了梳理，万象归春，所有的模型都只是促进我们对数据的深入认知而已。

6. SAHI：用于对大图像/小目标执行切片推理的视觉库 ⭐️⭐️

   • Abstract: 基于mmdetection用于对大图像/小目标执行切片推理的视觉库SAHI
   • Code: https://github.com/obss/sahi
   • Tips: 视觉比赛中对于大图像中的小目标检测问题常用的策略就是切分infer，这里直接提供了一个库SAHI

7. Github标星4.8K！微软开源的可视化工具，未免太酷炫了吧 ⭐️⭐️

   • Abstract: 微软开源的可视化工具SandDance
   • Code: https://github.com/microsoft/SandDance
   • Demo: https://sanddance.js.org/app/
   • Tips: 最近推荐了好几个可视化教程，这个也很秀

📎 Others

• 由于图片权限问题，GitHub是完整版，可以点点 star
• 星标的数量是与个人相关程度，不代表文章内容的好坏
• 关注我的个人网站
• 关注我的CSDN博客
• 关注我的哔哩哔哩
• 关注我的公众号CV伴读社