人工智能老师人工智能讲师计算机视觉讲师叶梓：计算机视觉领域的自监督学习模型——MAE-10

接上一篇

P21-P23

MAE（掩蔽自编码器）

1. MAE 是一种简单的自编码方法，可以在给定部分观察的情况下重建原始信号。
2. 由编码器将观察到的信号映射到潜在表示，再由解码器从潜在表示重建原始信号。

与经典的自动编码器不同，MAE采用非对称设计

允许编码器仅对部分观察信号（无掩码标记）进行操作

并采用轻量级解码器从潜在表示和掩码标记中重建完整信号。

MAE（掩蔽自编码器）

1. 在预训练期间，大比例的随机的图像块子集（如 75%）被屏蔽掉。
2. 编码器用于可见patch的小子集。在编码器之后引入掩码标记，并且完整的编码块和掩码标记集由一个小型解码器处理，该解码器以像素为单位重建原始图像。
3. 预训练后，解码器被丢弃，编码器应用于未损坏的图像以生成识别任务的表示。

---

未完，下一篇继续……