Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings阅读笔记

声明：

        本文仅表示个人研究生初学时阅读论文的笔记，因为是初学所以可能很多地方的见解很狭隘或者错误，还望读者批评指正。第一次写文章格式不太会用，从OneNote上贴过来格式不能保存，还请见谅。

第一遍：
    摘要：
        ○ 师生模型解决高分辨率图像中 异常检测 和 像素级精确异常分割。
        ○ 训练数据集：ImageNet
        ○ 测试数据集：MVTec等
        ○ 思路：学生泛化差，与教师输出的差异为异常
    结论：
        ○ 学生集成网络来自描述性教师网络的嵌入向量训练，异常分数来自 学生集成网络的 预测方差 和 回归误差。
        ○ 学生集成网络在 无异常的数据 上通过 端到端 的方式训练模型。（这边的无异常指将数据都认为是正常数据；端到端指通过反向传播从原始数据中学习，而非单独训练）
        ○ 多尺度检测异常
第二遍：
    简介
        ○ 异常分类-->生成算法（GANs和VAEs，存在重建不准确或校准不当）-->迁移学习（使用预训练网络的判别嵌入）-->在大规模高分辨率上，浅层机器学习流程需对特征空间降维，该模型容量不足，需重度依赖子抽样-->本文认为可以利用师生架构的深度神经网络的高容量解决该问题
        ○ 简述本文的师生架构：· 教师（基于大型自然图像补丁数据集预训练的描述性特征提取器）
                                · 于无异常的训练数据上训练一组学生网络
                                · 用学生网络的预测不确定性与教师的回归误差相结合，得到每个输入像素的密度异常分数
                                
    相关工作：
        ○ Andrews和Burlina的论文已经证明“使用预训练网络的判别嵌入向量作为特征，并结合浅层机器学习模型在无异常训练数据上进行训练的方法”十分有效，但是仅适用于图像分类，不适用异常区域分割。
        ○ 先前工作证明，在有监督时网络的不确定性可用于检测异常。Beluch证明网络集成方差可以作为主动学习的有效获取函数。两者工作都需要标签数据，本文通过于训练网络的替代标签来训练学生网络。
    
    学生教师异常检测（即具体模型）：
        ○ 教师网络
            § 先前工作，仅生成单个特征向量或采用下采样，本文每个patch都可以生成特征集合。
            § T^（由最大池化层和卷积层组成），将patch嵌入d维度量空间，确定性变化以快速特征提取。T通过T^获得，T^由ImageNet来训练，还通过预训练网络P学到的知识提炼到T^中。【如何提炼？】
            § 预训练不能用时，本文采用三元组学习来判断嵌入的效果。【什么三元组？】
            § 使用描述符紧凑性，减小描述符之间的相关性。
            § 总结上述三点为T^的损失函数，确定了教师判别嵌入的全过程。
        ○ 学生集成网络
            § 学生与老师有相同的网络架构，确定了学生网络的训练准则【如何定义的？】
            § 度量异常分数：1、计算混合物的平均值相对于教师代理标签的回归误差值u。
                            2、计算每个像素的高斯混合物的预测不确定性v。
                            3、异常分数为上述两值归一化求和。
        ○ 多尺度异常分割
            § 本文尺度p值可以控制，通过多P均值避免了描述符被学生完全预测，进而导致检测性能下降的问题
第三遍：
    解决上述的【】、公式、代码等，这个对我难度较高，大致上看得懂，怕误解大家的正确思路，这边推荐大佬“我是大黄同学呀”的文章，附上连接：https://blog.csdn.net/qq_36560894/article/details/115407363