本文相对简单,创新点主要为实际问题的解决
1.摘要
TSK模糊系统作为一种高度可解释性的机器学习方法,在处理大数据或者高维度数据上存在一定的缺陷。因此本文提出了一个新的TSK模糊系统算法来高效的处理这些数据。本文主要创新点有两个,一个是引入了均匀正则化(UR),强迫所有的规则有着相似的输出,这提升了模型的泛化性。另一个是引入了批处理归一化(BN),它将BN从深度神经网络扩展到TSK模糊分类器,以加快收敛速度,提高泛化性能。经过十二个数剧集的验证,得到了良好的效果。
2.引言
针对TSK模糊系统处理大数据或者高维度的数问题,许多人做出了努力,包括使用降维算法、特征提取等。哈有一些人聚焦于学习原始的稀疏子空间特征,从而减少每个模糊规则的参数量。
MGDB自从被应用与TSK模糊系统后,许多人进行了改进,包括adding a momentum, Adam,前两者的结合,以及AdaBound,本文实验发现AdaBound更好。但尽管这样的MGDB-TSK模糊系统有着较好的性能,但是容易陷入局部最优以及梯度消失问题,基于此,在深度学习解决类似问题的适合提出了UR和BN,本文则跟随实验室之前的研究,继续优化TSK模糊系统,将BN和UR与TSK模糊系统结合,解决大数据以及局部最优的问题。
贡献如下:
1、提出了针对交叉熵(cross-entropy loss)的UR公式,迫使所有的规则平均,以提高泛化性。
2、扩展BN进入TSK模糊系统,展示了其快速收敛性以及准确率。
3、整合BN和UR得到了良好的性能。
3. algorithm
3.1 TSK介绍见前面的论文
此处不再赘述 ,点击 TSK Fuzzy System
3.2 均匀正则化
混合专家系统与TSK模糊系统类似,当多个专家共同决策时,如果某一个或多个专家的准确率更高,则偏向于某个或某几个专家的决策,给与他/他们更高的权重。但也因此造成了富者越富的情况,损失了其余专家给出的评判信息,不能很好的应对各种情况。在TSK模糊系统存在类似的情况,因此我们提出均匀正则化,将所有专家给出的意见权重统一,这样就能最大程度的适用于各种情况,提升泛化性。
具体公式如下
因此,我们的损失函数变成了这个,类似于L2正则化,但是L2正则化是增加了惩罚项,这个是增加了统一正则化操作。
3.3 Batch Normalization(BN)
BN主要作用是引入两个参数,将每一个数进行归一化操作加速训练过程,
这里的mb和δb是一批样本的均值和标准差,γ和β是学习的参数,∈是参数,1*10-8避免标准差为0,
由图中可知,将训练阶段模糊规则计算完之后,在输出阶段对所有模糊规则结果使用BN,这样就可以将其贡献归一化,在计算输出,则解决了模型的泛化性问题。在测试阶段具体介绍如下:
同时,我们也可以对输入数据进行归一化操作,将数据分布归一化后送入TSK模糊系统运行,基于此,也可以减少不同数据之间所产生的各异性公式如下:。
不同的BN操作对TSK模糊系统的影响如下图:
4 实验结果
4.1数据集介绍
不同算法之间原始准确率(RCA)对比:
DT: Decision tree;
RF: Random forest;
PART : The PART (partial decision tree) classifier;
JRip : The RIPPER (Repeated Incremental Pruning to Produce Error Reduction) classifier;
TSK-FCM-LSE;
TSK-MBGD: We used MBGD and AdaBound;
TSK-MBGD-UR: MBGD, AdaBound and UR;
TSK-MBGD-BN: We used MBGD, AdaBound and BN;
TSK-MBGD-UR-BN: We used MBGD, AdaBound, BN and UR;
平衡准确率:the mean of the per-class RCAs
p值检验差异性:
首先,对于非常高维的数据,输入空间的模糊划分变得非常复杂,当使用乘积t-范数时,可能会发生数值下流。进一步的研究应考虑自动选择最相关的属性作为前提的规则。其次,我们将研究如何提高数据驱动的TSK模糊系统的可解释性。这也与第一个问题部分相关联,因为减少前因子的数量可以提高规则的可解释性。
最后,我们需要指出的是,我们没有考虑到数据中的各种不确定性,如缺失值、错误值、噪声、异常值等,这在现实应用中经常发生。一些技术,例如粗糙集,可以与模糊集集成来处理它们。或者,本文中使用的1型TSK模糊系统也可以扩展到区间或一般的2型模糊系统,以应对更多的不确定性。