Fuzzy System2021|论文阅读《Optimize TSK Fuzzy Systems for Classification Problems》

本文相对简单，创新点主要为实际问题的解决

1.摘要

TSK模糊系统作为一种高度可解释性的机器学习方法，在处理大数据或者高维度数据上存在一定的缺陷。因此本文提出了一个新的TSK模糊系统算法来高效的处理这些数据。本文主要创新点有两个，一个是引入了均匀正则化（UR)，强迫所有的规则有着相似的输出，这提升了模型的泛化性。另一个是引入了批处理归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度，提高泛化性能。经过十二个数剧集的验证，得到了良好的效果。

2.引言

针对TSK模糊系统处理大数据或者高维度的数问题，许多人做出了努力，包括使用降维算法、特征提取等。哈有一些人聚焦于学习原始的稀疏子空间特征，从而减少每个模糊规则的参数量。
MGDB自从被应用与TSK模糊系统后，许多人进行了改进，包括adding a momentum， Adam，前两者的结合，以及AdaBound，本文实验发现AdaBound更好。但尽管这样的MGDB-TSK模糊系统有着较好的性能，但是容易陷入局部最优以及梯度消失问题，基于此，在深度学习解决类似问题的适合提出了UR和BN，本文则跟随实验室之前的研究，继续优化TSK模糊系统，将BN和UR与TSK模糊系统结合，解决大数据以及局部最优的问题。
贡献如下：
1、提出了针对交叉熵（cross-entropy loss）的UR公式，迫使所有的规则平均，以提高泛化性。
2、扩展BN进入TSK模糊系统，展示了其快速收敛性以及准确率。
3、整合BN和UR得到了良好的性能。

3. algorithm

3.1 TSK介绍见前面的论文

此处不再赘述 ,点击 TSK Fuzzy System

3.2 均匀正则化

混合专家系统与TSK模糊系统类似，当多个专家共同决策时，如果某一个或多个专家的准确率更高，则偏向于某个或某几个专家的决策，给与他/他们更高的权重。但也因此造成了富者越富的情况，损失了其余专家给出的评判信息，不能很好的应对各种情况。在TSK模糊系统存在类似的情况，因此我们提出均匀正则化，将所有专家给出的意见权重统一，这样就能最大程度的适用于各种情况，提升泛化性。
具体公式如下
因此，我们的损失函数变成了这个，类似于L2正则化，但是L2正则化是增加了惩罚项，这个是增加了统一正则化操作。

3.3 Batch Normalization（BN）

BN主要作用是引入两个参数，将每一个数进行归一化操作加速训练过程，

这里的mb和δb是一批样本的均值和标准差，γ和β是学习的参数，∈是参数，1*10-8避免标准差为0，

由图中可知，将训练阶段模糊规则计算完之后，在输出阶段对所有模糊规则结果使用BN，这样就可以将其贡献归一化，在计算输出，则解决了模型的泛化性问题。在测试阶段具体介绍如下：

同时，我们也可以对输入数据进行归一化操作，将数据分布归一化后送入TSK模糊系统运行，基于此，也可以减少不同数据之间所产生的各异性公式如下：。

不同的BN操作对TSK模糊系统的影响如下图：

4 实验结果

4.1数据集介绍

不同算法之间原始准确率（RCA)对比：
DT: Decision tree；
RF: Random forest；
PART : The PART (partial decision tree) classifier；
JRip : The RIPPER (Repeated Incremental Pruning to Produce Error Reduction) classifier；
TSK-FCM-LSE；
TSK-MBGD: We used MBGD and AdaBound；
TSK-MBGD-UR: MBGD, AdaBound and UR；
TSK-MBGD-BN: We used MBGD, AdaBound and BN；
TSK-MBGD-UR-BN: We used MBGD, AdaBound, BN and UR；

平衡准确率：the mean of the per-class RCAs

p值检验差异性：

首先，对于非常高维的数据，输入空间的模糊划分变得非常复杂，当使用乘积t-范数时，可能会发生数值下流。进一步的研究应考虑自动选择最相关的属性作为前提的规则。其次，我们将研究如何提高数据驱动的TSK模糊系统的可解释性。这也与第一个问题部分相关联，因为减少前因子的数量可以提高规则的可解释性。
最后，我们需要指出的是，我们没有考虑到数据中的各种不确定性，如缺失值、错误值、噪声、异常值等，这在现实应用中经常发生。一些技术，例如粗糙集，可以与模糊集集成来处理它们。或者，本文中使用的1型TSK模糊系统也可以扩展到区间或一般的2型模糊系统，以应对更多的不确定性。