论文阅读《A New Self-Regulated Neuro-Fuzzy Framework for Classifification。。。》

Curious*

已于 2022-06-23 14:54:38 修改

阅读量158

点赞数

分类专栏：阅读论文文章标签：深度学习人工智能

于 2022-06-22 18:09:41 首次发布

本文链接：https://blog.csdn.net/qq_42829312/article/details/125371951

版权

阅读论文专栏收录该内容

7 篇文章 3 订阅

订阅专栏

Abstrcat

EEG信号分类的主要问题之一是由脑电图信号的伪影干扰和非平稳性引起的信息歧义。为了应对伪影的干扰，本文提出了一种伪影拒绝公共空间模式(AR-CSP)的特征提取方法。“self-regulated supervised Gaussian fuzzy adaptive system Art (SRSG-FasArt)解决不平稳性。并提出了一种基于元认知自我调节的学习算法，以更有效地处理不确定性。同时提高了泛化性，避免了过度训练（可能会产生过拟合）。
元认知学习算法:该算法按优先级捕获训练数据样本，通过扫描数据模式中存在的知识内容和创建的规则，自动创建、升级或删减模糊规则。

I Introduction

脑机接口的应用以及运动想象的重要性。目前主要的任务是分类和特征提取。数据中存在的不确定性主要是由伪影、非平稳性和训练特征的错误标记三个因素引起的，这降低了基于MI脑电图的BCI系统的准确性。MI检测的困难性以及原因分析。针对困难xx人做出了xx贡献（论文引用）引出神经模糊网络结构[16][17]。基于自适应共振理论(ART)的神经模糊结构是目前最常用的、特别适合用于分类问题的模型之一，考虑到模糊集的支持可以是沿整个实轴的任何区间，也消除了对输入范围的约束。采用模糊隶属度函数作为神经元的激活函数，是一种从模糊数据中学习的有效方法。可能存在overlapping的现象，采用了随机剪枝，但没有考虑到模糊规则的贡献，可能会影响模型性能。
引出本文的主要引用框架及存在问题。基于ART的神经模糊模型缺乏自我调节自身知识的能力，训练模式单一，即假设所有训练模式中存在相同知识，在其序列中学习样本，会导致大量的冗余类别以及过度训练（这个可能导致过拟合）。事实上，在实际过程也存在这样的问题。因此，元认知学习便出现了，他提供了what-learn，when-learn以及how-learn帮助学习，这种学习方法目前已经被证实有用。之后讲述现有框架的缺点以及原因。基于以上，我们提出了一种基于csp的特征提取方法和基于fasart（fuzzy adaptive system）模型的神经模糊分类器的合作框架，以应对基于MIee图的bci的不确定性。

Contribute

1、提出(AR-CSP) feature extraction method 去除伪影
2、提出 self-regulated supervised Gaussian FasArt (SRSG-FasArt)方法进行分类
3、将元认知学习算法应用于本文的算法中提升其泛化性以及减少类别扩散问题。

II ARTIFACT REJECTED COMMON SPATIAL PATTERN（AR-CSP),fuzzy adaptive system Adaptivate resonance theory(FasArt)

主要通过使用类协方差矩阵的计算从而减少伪影的影响，而伪影在本文中特指眼睛和面部活动产生的噪声。
（1） Artifactual Trials Detection
眼睛部分的伪影主要影响前额部分的电极，同时由于其数据大，很容易掩盖掉真实所需信息。电极图如图所示
在这里插入图片描述
这里由于FP1和FP2距离前额最近，一般作为眼部信号的测量部位。但考虑到全面性，将两两电极之间的相关系数绝对值作为指标，同时计算Z-Score得分，将高于阈值的z-score作为污染值。计算方法如下：Z-scor得分这里类似转换分布为高斯分布
在这里插入图片描述关于面部伪影
这里采用面部的TP1和TP2取平均值在进行高斯化，并且阈值设定于高斯化后的值大小比较如H（集合）。阈值设定的作用在于筛选元素进入CSP类协方差矩阵计算。基于以上我们开始AR-CSP的解释。

AR-CSP

CSP空间滤波器主要是通过使用最大化一类协方差同时最小化其他类的协方差从而区分二值类波段传递的EEG信号。考虑到每次饰演的EEG数据是与两类相关，则第h次实验的每协方差矩阵为在这里插入图片描述则类协方差矩阵实现为平均化这个R这里H表示总共的试验次数（h1,h2,.）
之后进行特征值分解，
计算白化矩阵，
转化平均协方差矩阵
这里加入一个正交矩阵V

最后将R1和R2共享特征向量，得到对角矩阵到这个时候，CSP滤波器就很明显了，即W那么，经过CSP后的数据为

本文中，将最后的数据还要进行一次特征提取，但只是将数据进行了转换而已，具体如下公式
在这里插入图片描述
这里的Sh为第h次实验提取的特征向量，Zfh表示的是Zh的某一行，考虑到每个类别包含最大方差的三个分量，m在这里等于（2类*3个分量=6）6.
我不理解为什么有3个分量，大佬们看到了帮我解释一下，非常感谢

AR-Binary Search CSP（AR-BCSP）

在这里插入图片描述
二进制搜索分类通常解决多类分类问题，将每个聚类分层划分为两个，直到得到一个类的簇。对原始数据进行分类的时候，采用上面构造的滤波进行分类以及提取。

III SELF-REGULATED SUPERVISED GAUSSIAN FASART（SRSG-FASART)

做一个简单的符号解释：Sk=[s1k,s2k…smk]T，表示第k次训练的m维特征向量，lk表示对应的分类标签，维度为L.模型的输入序列数据和标签分别为Ia和Ib，[a1,…am],[b1,…bL]。即ai=Sik,Ib则为二进制向量，只有0和1（因为之前我们说过，在树结构那就是二分类，在分类，直到不能分，类似快排）。

structure

在这里插入图片描述

如图所示，第0层包含M个结点（a1->am)作为输入的特征向量。第一层包含m个高斯函数，将第一层输入的m个结点分别进行高斯函数计算，得到了与m维的下一层的模糊分类神经元相关的三个权重，同时计算n个单元的隶属度水平ηij（输入为m*n）这部分按照我的理解是，用高斯函数与原始数据计算得出权重（计算公式见下面），再通过权重结合算出隶属度值。原始数据m个特征向量，n个值
在这里插入图片描述
第二层包含n个神经元，有两个值，一个是激活水平Tj，一个是已经学习到的输入样本数N，
这一层的每个单元都与一个现有的类标签相关联，可能存在多个单元与同一个类标签相关联，但赢家单元与预测的类标签相关。第3层接收到正确的类标签Lb，并将其与预测的结果WabJ进行比较。自我调节过程的实施取决于比较结果。这一层只在学习过程中使用。Orinting subsystem 作用是评估考虑赢家单位的数据样本的学习能力RVJ和知识内容TJ，以及模糊规则的最大数量，决定对样本进行学习、忽略或保留。这部分看后面解释

模糊规则介绍

这里采用的是and规则，具体如下：
在这里插入图片描述 其实就是把所有的原始数据集合看成一个整体进行判断，当所有条件均满足时生成一个标签，ηji(a)表示a的隶属度

Definition and Formulations

这部分介绍公式以及定义

分类激活函数

在SRSG-FasArt中，类别由具有共同质心的双侧高斯分布函数定义。第j个单元的第i个维度的隶属度值为ηji。图像以及公式如下：在这里插入图片描述

在这里解释一下上面提到的三个权重，σLij以及σRij表示左侧和有着宽度，cij表示中心，同样是第j个单元第i个维度的计算结果。这里即可以算出最后的Aji的值。
第一层：在进行隶属度计算时，本文选择双侧高斯 Triangular MF。因为自然数据的分布一般不需要对称，因此对称的MF可能会限制系统的性能和泛化能力。（双侧高斯函数具有自然不对称的特点），同时采用common center避免了类别重叠问题。在支持边界的隶属度函数中，比如三角函数，需要设置一个模糊参数调整泛化能力，充分确定数据集的先验知识。高斯MFs不需要任何数据样本的先验知识，这使得SRSG-FasArt适用于在线程序。所选MF的有效泛化能力提高了系统的非平稳性处理能力。

重置值（Reset Value)

在模糊自适应共振理论模型中存在的重置机制限制了赢家单元的学习能力，从而实现更新现存模糊规则以及创建新的模糊规则之间的平衡。该机制通过使用输入数据与winer unit之间的匹配度作为指标，即重置值（RV），以此评价学习能力。如果得到的RV值超过了阈值ρv，则不能实现共振，同时将winer unit重置，不允许其学习样本。在阈值选择问题上，我们基于数据模式在所有维度上与单元中心的接近程度作为RV。
在这里插入图片描述在这里+表示的是max[0,1,2,3,…]。KR是决定一个单位相对于单位宽度能够从单位中心学习的样本的最大距离的系数。Nj表示单位j迄今为止所学习到的数据样本数，Nmax是一个常数，用来限制神经元允许学习的最大样本数。**无论数据怎么样，RV的值为[0,1]之间。这里面的Nmax以及KR都不能太大或太小。

Vigilance Threshold Regularization(阈值）

在监督模糊自适应共振理论的模型中引入匹配追踪机制规范警戒阈值。当一个winer单元被重置后，找寻下一个winer单元来指导其他单元。当共振发生时，unit无法预测正确的标签，那么暂时将ρv设置为winer的RV。但这个机制有很多缺点，本文不用。第一，他会导致类别扩散何错误，第二，他与我们的模型增长的学习能力相悖。我们用自己的自管理机制进行阈值规范。对于调整分类来讲，设置一个正确的阈值ρv十分重要，他的大小决定了类别的数量和质量。为了确定初始警戒阈值，采用五倍交叉验证的方法进行网格搜索。
（交叉验证是基于训练数据集，将数据集划分为五个子集。每个子集都有一次被用作测试数据，而使用其余的四个子集作为训练数据。通过将所有子集的平均分类精度最大化作为目标函数来确定合适的初始值。）

Knowledge Content

为了减少学习过于相似的样本，将测量数据样本转移到unit知识内容中，一个unit中含有相似的样本，再以unit来学习。unit的激活水平一般可以作为知识内容的指标，高于激活水平则unit中已有相似的知识内容，不在学习，这里的阈值为上面的ρv。初始为ρm（m个维度）。值太高也会使得学习过多相同的模式，从而增加计算量。在有噪音的数据集中学习类似的异常值可能导致过度训练，初始值足够高可防止训练早期样本，然后逐渐自适应，更改值适应数据集。

Self-Regulating Conditions

为了根据能够有效监测数据集特征的合适值来适应上述自调节阈值参数(即ρv和ρk)，在SRSGFasArt框架中考虑了自调节条件。只有当当前的赢家单元满足以下条件时，才允许执行学习算法中的自我调节步骤：
1、unit 是第一个有着正确标签的winner，同时unit还是第一个L的winner之一。满足以上两个条件，则阈值开始自适应。可以保证当系统达到足够适合当前样本匹配L个第一winner之一的水平时，就可以进行自适应。这种机制防止了系统基于不合适的信息进行自我调节。

Learning Procedure

commited unit的学习制定为在模式相反的一边，模糊集的支持不变，在模式同一的一边，扩展覆盖它。而支持的边界被认为是中心的k次标准差来控制隶属度函数的泛化能力。第j次模糊单元的权重更新公式如下：
在这里插入图片描述
这熟悉的c，σL和σR表示的是中心，左右两侧的宽度。这里的β属于[0,1]，代表中心以及左右宽度更新的学习率，同样，学习率越高则更新更快。网格搜索使用五折交叉验证确定β。建模，最大平均准确率，同时求解。

SRSG-FasArt Learning Algorithm

本文提出的算法将所有的数据提出后，扫描其知识并决定是否学习，忽略。对于冗余的知识算法会自动修剪，将知识转移到合适的unit上。通过自我调节控制阈值，模糊类别也被创建，并根据信息量最大的数据样本优先调整。系统逐渐被调整为覆盖足够范围内的所有样本。在这里插入图片描述
学习算法可从图五里面看出，由训练水平和调整水平两个组成，首先将前面所说的信息量大的优先调整，选择进入训练水平，在进入调整水平，通过学习算法自动修剪，转移知识，进行模糊规则修建，学习率为βe，但是如果是冗余知识，那么会进行转移知识，修建内容，与下一次的数据集一起重新输入。如果知识含量太少，则直接忽略。在方框内是个循环结构，也就是说，会不断重复训练，直到结束。结束后才进行调整一次。

训练水平

第k次训练样本（Sk，lk）的训练描述如下
1、输入Ia和Ib（输入向量以及标签），前文介绍过了。
2、激活水平计算，第j个unit的激活计算如下在这里插入图片描述 3、winner unit的选择，非常重要！
这里，如果遇到了0，重置，那么就重新选择一个神经元计算，这里直接运算第8步计算
4、重置值的计算（RV）
5、预测出的标签匹配计算
如果标签一一对应，则跳到第六步进行计算，否则TJ=0,回到第三步。
6、知识内容计算（Knowledge Content）
如果Tj大于阈值，则忽略不学习，如果小于阈值，则实现基于激活值的自调节。改变阈值在这里插入图片描述 7、重置值的评估（RV evaluate）
当RV大于等于阈值ρv的时候则进行8，否则更新ρv，TJ=0，跳转回38、学习
case i ：计算三个权重。
case ii：
初始输入和计算：
2）否则模式发送到当前数据集的下一个优先级训练集的数据集末端重新输入计算。

调整水平

通过一个冗余的模糊规则修剪以及降低学习率的组合组成
1、冗余的模糊规则修剪：只学习了少数数据模型的神经元可能是基于离散数据构建的，这些神经元应该被修建，同时他的中心权重、可作为模式原型输入到最新的数据集的末端重新学习。保持规则Nprune的最小可接受的模式数是基于nmax和原始数据集中的近似模式数来确定的，如果学习到的模式低于预期的25%则进行修剪。
2、学习率调节：βc通过一个延迟系数进行调整：在这里插入图片描述至此，算法模型介绍结束，撒花！！虽然不是很懂orz，不过我会再看第二遍，更新这个内容！加油兄弟们。