图像分割4

阅读

参考意义不大，是通过正常图像对比实现的异常分割。
继续下一篇

方法

unsupervised anomaly detection and segmentation using transformers。
使用transformer实现无监督的一场检测和分割。
使用向矢量量化变分自动编码（VQ-VAE）是一个学习图像离散表示的模型。
VQ-VAE讲解
该链接里面包含有VQ-VAE的代码实现

思路

1. 训练一个VQ-VAE（该模型通过encoder将输入转换成潜在嵌入空间表示，通过decoder将潜在嵌入空间转换成输出）。
2. Transformers，利用了transformer中利用注意力机制获取输入之间的关系，而不关心其距离，transformer中的每一层都采用了自我注意力机制，该机制通过映射一个具有三个向量的中间表示：==查询、键和值向量。==由于注意力机制的输出依赖于序列中所有元素的内积，因此其计算开销随着数据规模的增长而成平方级增长。
3. 使用了高效（线性）广义注意框架（efficient (linear) generalized attention framework）论文解读
4. 以任意序列将潜在的离散变量转换成随机的一维序列，我们可以训练transformer以一种自回归的方式来最大化训练数据的对数似然性。