迈微AI研习社 · 号主

这篇文章从感知机开始，按照时间顺序回顾了深度学习的历史。1958 年：感知机的兴起1958 年，弗兰克 · 罗森布拉特发明了感知机，这是一种非常简单的机器模型，后来成为当今智能机器的核心和起源。感知机是一个非常简单的二元分类器，可以确定给......

来自 FAIR 、UC 伯克利的研究者重新检查了设计空间并测试了纯 ConvNet 所能达到的极限，表明卷积神经网络的性能不亚于视觉Transformer。

从训练与推理效率来看，清华和微软亚研提出的 Fastformer 无愧于「fast」。

Transformer背后的计算模型是什么？就是最资深的炼丹er，也很难直观地解释这一结构中的信息如何流动，数据又是如何计算的。但现在，只要写上几行代码，就能将Transformer的流程可视化。

利用神经网络进行风格迁移是一项非常常见的任务，方法也很多，比如基于优化和基于 RL 的方法。最近，来自百度 VIS 团队的研究者提出了一种基于 Transformer 的风格迁移框架，速度快于基线方法，实现效果也不错。然而，研究遭到了网友的质疑，这是为什么呢？

来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。

目前已经有基于Transformer在三大图像问题上的应用：分类（ViT），检测（DETR）和分割（SETR），并且都取得了不错的效果。那么未来，Transformer有可能替换CNN吗，Transformer会不会如同在NLP领域的应用一样革新CV领域？后面的研究思路可能会有哪些呢？敬请期待下一篇文章给出解答。

本文中的大量插图也会从该博客中截取。首先感谢Jay Alammer详细的讲解，其次推荐大家去阅读原汁原味的文章。

你上一次听到用Transformer生成图像，应该还是iGPT刚问世的时候吧？当时OpenAI用GPT-2来分类和补全图像，取得了令人惊艳的成果。遗憾在于，iGPT生成的图像最大只有64x64像素。现在，我要告诉你，最上面这张图像也是Transformer生成的，分辨率有1280x460之高。合成这张图像的模型名叫VQGAN，而且，它能做的事情远不止于此。先看看VQGAN和iGPT的对比，前者生成的图像明显高清得多。VQGA...

在NLP领域transformer已经是成功地取代了RNN（LSTM/GRU），在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。这是一篇谷歌2020年9月份在arXiv发表的综述论文 “Efficient Transformers: A Survey“，值得读读。

在机器翻译、图像识别等任务上表现SOTA！性能优于Performer、ViT和Transformer-XL等网络。

BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。

视频实例分割（VIS）是一项需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。最近研究人员提出了一个新的基于Transformers的视频实例分割框架VisTR，它将VIS任务看作一个直接的端到端并行序列解码/预测问题。给定一个由多个图像帧组成的视频片段作为输入，VisTR直接输出视频中每个实例的掩码序列。其核心是一种新的、有效的instance sequence匹配与分割策略，它在序列级对实例进行整体监控和分割。VisTR从相似性学习的角度对实例进行分割和跟踪，大大简化了整个流程，与现有方法有很

本文来自李铎的投稿，介绍他们在深度卷积神经网络中的新工作，通过反转前述的卷积设计原理提出了一种用于深度神经网络的新颖原子操作。同时，也分享一些作者对网络结构设计（CNN和Transformer）的理解。

华南理工和微信AI提出了random query patch detection的预训练任务，对DETR中的transformer进行无监督预训练，从而提高其目标检测的性能。>>回复“加群”加入迈微技术交流群，走在计算机视觉的最前沿在之前最新CVPR2021论文收录合集中也强烈推荐过这篇论文，今天带大家分析一下。

作为自然语言处理领域的主流模型，Transformer 近期频频出现在计算机视觉领域的研究中。例如 OpenAI 的 iGPT、Facebook 提出的 DETR 等，这些跨界模型多应用于图像识别、目标检测等高层视觉任务。而华为、北大、悉大以及鹏城实验室近期提出了一种新型预训练 Transformer 模型——IPT（Image Processing Transformer），用于完成超分辨率、去噪、去雨等底层视觉任务。该研究认为输入和输出维度相同的底层视觉任务更适合 Transformer 处理。