【实验记录】

开放集识别实验的复现

本周实验进展：

一 、上周在复现论文的时候，卡在MIT数据集处理和第三章PSC（用户特异性与类别对比的特征学习）实验。

模型保存

Loss下降图：

本周已将MIT数据集处理好，并完成了PSC部分的模型训练。

暂时遇到了PTB数据集处理问题。用于预处理（PSC部分）的数据集是MIT数据集，使用的是单导联，而PTB数据集是12导联，再载入模型时会报错，需要处理。

MIT数据集有.hea/.atr/.dat三个文件组成其一个数据组，360HZ，30分钟以上。
PTB数据集，12导联，1000HZ，10秒，且数据仅记录在.dat文件中，处理方式与之前处理MIT数据的方式不同

二、AE结构实现异常检测的实验，由闭集识别向开放集识别推广

数据集四种
基本类别：
（1）已知类（KKC），即具有明显标记的正训练样本的类（也用作其他KKC的负样本），甚至具有相应的边信息，如语义/属性信息等；
（2）已知未知类（KUC），即标记为负的样本，不一定分组为有意义的类，例如背景类、宇宙类等； 
（3）未知的已知类（UKCs），即训练中没有可用样本的类，但在训练中有可用的边信息（例如语义/属性信息）；
（4）未知未知类（UUC），即在训练期间没有任何关于它们的信息的类：在训练期间不仅看不见，而且没有旁侧信息（例如语义/属性信息等）。 

一般的异常检测均属于闭集识别。即，训练集使用KKC，验证集使用KKC，测试集也使用KKC。

第一部分，无监督学习的预训练部分，使用全部的数据集训练，但不带标签，用于特征学习。此部分的数据集属于已知类（KKC）
第二部分，使用重合的部分，验证集（val）使用已知类（KKC）的数据集进行有监督学习，带标签。在训练时，准确率能提升至99.97%

第三部分，测试集，使用的仍然为已知类（KKC）的数据集进行测试。测试集所用的KKC，与第一部分重合，但与第二部分数据隔离。进行测试，准确率仍在98%以上。

实验记录

逐步由闭集识别向开放集识别扩展，计算模型准确率。
注：测试集中数据不包含在验证集中，这两个数据集是数据隔离的。
实验 01
（无监督学习）数据集train01，使用90K个心拍数据训练；
（有监督学习）验证集val02,使用90K个心拍数据训练；且val02属于train01的子集。准确率如上文所示，达99.97%。
（测试集）测试集 test03，使用90K个心拍数据测试，正负样本数据分布为【80516，9484】，测试集检测结果为：[80754, 9246]，识别率在97%左右
实验 02
（无监督学习）数据集train01，使用90K个心拍数据训练；
（有监督学习）验证集val02,使用15K个心拍数据训练；且val02属于train01的子集。
（测试集）测试集 test03，使用18191个心拍数据测试，test03 属于val02的子集。
其测试集[10000,8191],检测[10003,8188]，准确率也在98%以上
实验 03
上面两个实验均属于闭集识别，现在将测试集改为未知的已知类（UKCs，，即训练中没有可用样本的类，但在训练中有可用的边信息（例如语义/属性信息）；）测试集均不属于train01和val02，与其数据隔离。共有10676个心拍，模型检测结果为正：负=[1759, 8917]
查看标签后，发现，正负样本为[9569,1107]

在实验03中可以看出，模型的泛化能力较差。

接下来计划更改数据集，对正样本数据集和负样本数据集进行标注。使测试集中的异常类型不在训练集（test = KKC+UUC）和验证集中（val = KKC+UUC），以此提高其开放度。再根据实验表现，逐步改进算法在开放集中的准确度，提高其泛化能力。

总结

1、目前是正在继续进行开放集识别OSR部分的复现工作，暂时遇到PTB数据集的问题，还在处理中。数据处理后仍需要对其.dat文件和标签文件，进行三元操作后，才能载入dataloader，进入OSR部分的训练。
2、针对现有实验，接下来需要由闭集识别向开放集识别扩展，其验证集和测试集需要向开放集识别的标准看齐，提高开放度，记录其在不同开放度的表现。