【论文阅读】STWD-SFNN: Sequential three-way decisions with single hidden layer feedforward neural network

题目：
STWD-SFNN: Sequential three-way decisions with a single hidden layer feedforward neural network
摘要：
采用三支决策策略构建了单隐层前馈神经网络的网络拓扑结构。但是，该模型具有一般的性能，并且不考虑过程成本，因为它有固定的阈值参数。受序贯三支决策(STWD)的启发，本文提出了STWD+SFNN (STWD-SFNN)来提高网络在结构化数据集上的性能。STWD-SFNN采用多粒度级别，由粗到细动态学习隐层节点数，并设置顺序阈值参数。具体而言，在粗颗粒级，STWD-SFNN通过应用严格的阈值条件来处理易于分类的实例，而在细颗粒级，随着隐层节点数量的增加，STWD-SFNN更加注重通过应用宽松的阈值条件来处理难以分类的实例，从而实现实例的分类。此外，STWD-SFNN考虑并报告从每个颗粒级别产生的过程成本。实验结果表明，STWDSFNN在结构化数据集上具有比其他SFNN模型更紧凑的网络结构，并且具有更好的泛化性能。
总结：
1. 研究问题：分类
2. TWD-SFNN性能一般，具有固定的阈值参数，未考虑过程成本；
3. STWD-SFNN采用多粒度级别，顺序设置阈值参数。在粗粒度级，应用严格的阈值条件处理易于分类的实例，在细粒度级，应用宽松的阈值条件处理难以分类的实例，并报告每个粒度级的过程成本；

TWD与STWD： TWD在某一决策点有3种选择，相互独立，只需选择一项。STWD具有先后顺序关系，每个决策都会影响下一个决策的选择，即每一步都需要在前一步的基础上进行决策。

TWD-SFNN：
数据集： { x i , y i } i = 1 d \{\mathbf{x}_i, \mathbf{y}_i\}_{i=1}^d {xi​,yi​}i=1d​，${\mathbf{x}}_i=({\mathbf{x}}_{i1},{\mathbf{x}}_{i2},\cdots ,{\mathbf{x}}_{im}{)}^{\mathbf{T}}\in {\mathbf{R}}^m$， y i ∈ { + 1 , − 1 } \mathbf{y}_i \in \{+1, -1\} yi​∈{+1,−1}。数据集共$d$个实例，$u(1\le u\le d)$个未分类的实例，即边界域（BND）中的实例，$u=d-n(POS)-n(NEG)$。TWD-SFNN分类这$u$个实例的预期风险：

$p_e=\frac{[Y\cap [x_e]|}{|[x_e]|}$为第$e$个实例属于正标签的条件概率，其中$Y$为正标签集，$[x_e]$为第$e$个实例的等价类；$\epsilon$为惩罚因子，避免模型过拟合；$u_p,u_b,u_n$分别为划分至POS域，BND域，NEG域的实例数；${\lambda }_{\ast P},{\lambda }_{\ast N}$为分别为做出实例属于POS域，NEG域时的决策成本。TWD-SFNN的阈值参数计算如下：

TWD-SFNN具有两种分类标准：
1. 当错误分类实例数较多时，采用三支决策策略：
若$p_e\ge \alpha$，则$[x_e]\in POS(Y)$；若$\beta <p_e<\alpha$，则$[x_e]\in BND(Y)$；若$p_e\le \beta$，则$[x_e]\in NEG(Y)$；
2. 当错误分类实例数较少时，采用两支决策策略：
若$p_e\ge \gamma$，则$[x_e]\in POS(Y)$；若$p_e<\gamma$，则$[x_e]\in NEG(Y)$。
如果BND域中仍有实例，需增加网络隐层节点数，直到BND域为空。TWD-SFNN的阈值固定，每次分类用到的阈值都是相同的。

STWD-SFNN：

总体上，STWD-SFNN分为两大模块，其一是离散模块，其二是训练模块。离散模块旨在将数值特征数据通过$k$-means++算法转化为离散数据。转换后的数据达到训练模块，由于STWD-SFNN采用多粒度级别，具有$t$个级别，该模块的每个级别具体又分为两部分，一部分是SFNN，另一部分是STWD。
STWD-SFNN从粗到细进行造粒，在粗粒度层面应用较严格的条件对BND域进行分类，在细粒度层面应用较宽松的条件进行分类，直到BND域为空。

SFNN旨在得到正确分类的实例$P_N^{(i)}$，$N_N^{(i)}$，以及错误分类的实例$M_N^{(i)}$。
STWD的大致流程可描述为：
1. 计算每个实例属于正标签的条件概率$p_e^{(i)}=\frac{[Y\cap [x_e{]}^{(i)}|}{|[x_e{]}^{(i)}|}$；
2. 根据结果代价矩阵${\Lambda }^{(i)}$计算阈值${\alpha }_i,{\beta }_i,\gamma$；
值得注意的是，STWD共$t$个粒度级别，当级别处于$1\le i\le t-1$时，每轮使用${\alpha }_i,{\beta }_i$阈值对$M_N^{(i)}$进行分类，当级别为$t$时，仅使用$\gamma$阈值进行分类，目的是使$B_L^{(t)}$为空，完成对整个未分类实例的分类。



3. STWD-SFNN两种分类标准；
当粒度级别处于$1\le i\le t-1$时，采用三支决策策略：
若$p_e^{(i)}\ge {\alpha }_i$，则$[x_e{]}_e^{(i)}\in P_L^{(i)}$；若${\beta }_i<p_e^{(i)}<{\alpha }_i$，则$[x_e{]}_e^{(i)}\in B_L^{(i)}$；若$p_e^{(i)}\le {\beta }_i$，则$[x_e{]}_e^{(i)}\in N_L^{(i)}$；
当粒度级别处于$t$时，采用两支决策策略：
若$p_e^{(t)}\ge \gamma$，则$[x_e{]}_e^{(t)}\in P_L^{(t)}$；若$p_e^{(t)}<\gamma$，则$[x_e{]}_e^{(t)}\in N_L^{(t)}$。
如果BND域中仍有实例，需增加网络隐层节点数，在粒度级别为$t$时，完成所有实例的分类。STWD-SFNN顺序设置阈值参数，每次分类所用到的阈值都是不同的。


STWD-SFNN在每个粒度报告分类风险与成本代价，过程不再赘述，可阅读论文详细了解。

结论：
实验结果表明，STWD-SFNN比使用经验公式的网络具有更高的运行效率和更紧凑的网络结构，并且在结构化数据集上具有更好的泛化能力。