邻域粗糙集是处理数据挖掘不确定性的有效方法之一。 在邻域粗集中，正域通常被用来反映特征子集的分类能力。然而，正域并不是分类精度的一个有效估计，因为它只考虑了包含一致性的决策邻域下近似信息而忽略了决策的边界邻域上近似信息。针对目前邻域粗糙集模型中特征评估函数仅依据正域样本构造的缺点，通过引入决策自信息测度的概念，利用邻域粗糙集理论中的上下近似概念构造了决策变量的四种自信息不确定性测度，并详细讨论了其相关性质。基于第四种邻域自信息测度模型，构造特征评价函数——依赖度函数，并设计特征选择算法。
本节知识点是我认为在本节学习中重要和应用实例中用到的知识点。
1 邻域自信息及相关性质
定义 1.1 测度
I
(
x
)
I(x)
I(x) 是由 Claude Shannon 提出的，表示信号
x
x
x 的不确定性，称
I
(
x
)
I(x)
I(x) 是
x
x
x 的自信息，如果满足如下条件:
(1) 非负性：
I
(
x
)
≥
0
I(x) \geq 0
I(x)≥0;
(2) 如果
p
(
x
)
→
0
p(x) \rightarrow 0
p(x)→0，则有
I
(
x
)
→
∞
I(x) \rightarrow \infty
I(x)→∞;
(3) 如果
p
(
x
)
=
1
p(x)=1
p(x)=1，则有
I
(
x
)
=
0
I(x)=0
I(x)=0;
(4) 严格单调性: 如果
p
(
x
)
>
p
(
y
)
p(x)>p(y)
p(x)>p(y)，则有
I
(
x
)
<
I
(
y
)
I(x)<I(y)
I(x)<I(y).
这里
p
(
x
)
p(x)
p(x) 是
x
x
x 出现的概率。
定义 1.2 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
,
R
B
δ
(U, A, D), \quad U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, \quad B \subseteq A, \quad R_{B}^{\delta}
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A,RBδ 是由
B
B
B 诱导的
U
U
U 上的邻域关系。决策
d
k
d_{k}
dk 的决策指标
d
e
c
(
E
k
)
{dec}\left(E_{k}\right)
dec(Ek)，确信决策指标
c
e
r
t
B
(
E
k
)
{cert}_{B}\left(E_{k}\right)
certB(Ek) 和可能决策指标
p
o
s
s
B
(
E
k
)
{poss}_{B}\left(E_{k}\right)
possB(Ek) 定义如下:
d
e
c
(
E
k
)
=
∣
E
k
∣
,
c
e
r
t
B
(
E
k
)
=
∣
R
‾
B
δ
(
E
k
)
∣
,
p
o
s
s
B
(
E
k
)
=
∣
R
ˉ
B
δ
(
E
k
)
∣
.
\begin{aligned} &{dec}\left(E_{k}\right)=\left|E_{k}\right|, \\ &{cert}_{B}\left(E_{k}\right)=\left|\underline{R}_{B}^{\delta}\left(E_{k}\right)\right|, \\ &{poss}_{B}\left(E_{k}\right)=\left|\bar{R}_{B}^{\delta}\left(E_{k}\right)\right|. \end{aligned}
dec(Ek)=∣Ek∣,certB(Ek)=
RBδ(Ek)
,possB(Ek)=
RˉBδ(Ek)
. 确信决策指标用决策的下近似的基数刻画，表示分类一致的样本数量。可能决策指标用决策的上近似的基数刻画，表示可能属于该决策类的样本数量。
1.1 确信决策自信息
定义 1.3 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A，确信决策的精度和粗糙度定义如下：
μ
B
(
1
)
(
E
k
)
=
c
e
r
t
B
(
E
k
)
d
e
c
(
E
k
)
,
v
B
(
1
)
(
E
k
)
=
1
−
c
e
r
t
B
(
E
k
)
d
e
c
(
E
k
)
.
\begin{aligned} &\mu_{B}^{(1)}\left(E_{k}\right)=\frac{{cert}_{B}\left(E_{k}\right)}{{dec}\left(E_{k}\right)}, \\ &v_{B}^{(1)}\left(E_{k}\right)=1-\frac{{cert}_{B}\left(E_{k}\right)}{{dec}\left(E_{k}\right)}. \end{aligned}
μB(1)(Ek)=dec(Ek)certB(Ek),vB(1)(Ek)=1−dec(Ek)certB(Ek). 显然，
0
≤
μ
B
(
1
)
(
E
k
)
,
v
B
(
1
)
(
E
k
)
≤
1.
μ
B
(
1
)
(
E
k
)
0 \leq \mu_{B}^{(1)}\left(E_{k}\right), \quad v_{B}^{(1)}\left(E_{k}\right) \leq 1 . \mu_{B}^{(1)}\left(E_{k}\right)
0≤μB(1)(Ek),vB(1)(Ek)≤1.μB(1)(Ek) 代表样本完全被分到决策
E
k
E_{k}
Ek 的程度。
μ
B
(
1
)
(
E
k
)
\mu_{B}^{(1)}\left(E_{k}\right)
μB(1)(Ek) 是由特征子集
B
B
B 计算的确信决策
E
k
E_{k}
Ek 出现的概率。
v
B
(
1
)
(
E
k
)
v_{B}^{(1)}\left(E_{k}\right)
vB(1)(Ek) 表示由特征子集
B
B
B 计算的等价类
E
k
E_{k}
Ek 中的样本不一定属于
E
k
E_{k}
Ek 的程度。
μ
B
(
1
)
(
E
k
)
\mu_{B}^{(1)}\left(E_{k}\right)
μB(1)(Ek) 和
v
B
(
1
)
(
E
k
)
v_{B}^{(1)}\left(E_{k}\right)
vB(1)(Ek) 都能反应特征子集
B
B
B 的分类能力。
定义 1.4 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A，确信决策自信息定义如下：
I
B
(
1
)
(
E
k
)
=
−
v
B
(
1
)
(
E
k
)
log
μ
B
(
1
)
(
E
k
)
.
I_{B}^{(1)}\left(E_{k}\right)=-v_{B}^{(1)}\left(E_{k}\right) \log \mu_{B}^{(1)}\left(E_{k}\right).
IB(1)(Ek)=−vB(1)(Ek)logμB(1)(Ek).
定义 1.5 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A, 决策系统的确信决策自信息定义如下：
I
B
(
1
)
(
D
)
=
∑
k
=
1
r
I
B
(
1
)
(
E
k
)
.
I_{B}^{(1)}(D)=\sum_{k=1}^{r} I_{B}^{(1)}\left(E_{k}\right).
IB(1)(D)=k=1∑rIB(1)(Ek).
定义 1.6 给定决策表
(
U
,
A
,
D
)
,
B
⊆
A
(U, A, D), B \subseteq A
(U,A,D),B⊆A, 称
B
B
B 是一个决策系统的确信决策约简，如果满足如下条件：
(1)
I
B
(
1
)
(
D
)
=
I
A
(
1
)
(
D
)
I_{B}^{(1)}(D)=I_{A}^{(1)}(D)
IB(1)(D)=IA(1)(D);
(2)
I
B
−
a
i
(
1
)
(
D
)
≠
I
B
(
1
)
(
D
)
I_{B-{a_{i}}}^{(1)}(D) \neq I_{B}^{(1)}(D)
IB−ai(1)(D)=IB(1)(D), 对于任意
a
i
∈
B
a_{i} \in B
ai∈B.
1.2 可能决策自信息
定义 1.7 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A，可能决策的精度和粗糙度定义如下：
μ
B
(
2
)
(
E
k
)
=
d
e
c
(
E
k
)
p
o
s
s
B
(
E
k
)
,
v
B
(
2
)
(
E
k
)
=
1
−
d
e
c
(
E
k
)
p
o
s
s
B
(
E
k
)
.
\begin{aligned} &\mu_{B}^{(2)}\left(E_{k}\right)=\frac{{dec}\left(E_{k}\right)}{p o s s_{B}\left(E_{k}\right)} , \\ &v_{B}^{(2)}\left(E_{k}\right)=1-\frac{{dec}\left(E_{k}\right)}{{poss}_{B}\left(E_{k}\right)} . \end{aligned}
μB(2)(Ek)=possB(Ek)dec(Ek),vB(2)(Ek)=1−possB(Ek)dec(Ek). 显然，
0
<
μ
B
(
2
)
(
E
k
)
≤
1
,
0
≤
v
B
(
2
)
(
E
k
)
<
1.
μ
B
(
2
)
(
E
k
)
0<\mu_{B}^{(2)}\left(E_{k}\right) \leq 1,0 \leq v_{B}^{(2)}\left(E_{k}\right)<1 . \mu_{B}^{(2)}\left(E_{k}\right)
0<μB(2)(Ek)≤1,0≤vB(2)(Ek)<1.μB(2)(Ek) 描述决策
E
k
E_{k}
Ek 由
B
B
B 计算的上近似的程度，也可以看作是可能决策
E
k
E_{k}
Ek 的概率。
v
B
(
2
)
(
E
k
)
v_{B}^{(2)}\left(E_{k}\right)
vB(2)(Ek) 描述对象在决策类
E
k
E_{k}
Ek 范围之外但在决策类
E
k
E_{k}
Ek 上近似中的程度.
定义 1.8 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A, 可能决策自信息定义如下：
I
B
(
2
)
(
E
k
)
=
−
v
B
(
2
)
(
E
k
)
log
μ
B
(
2
)
(
E
k
)
.
I_{B}^{(2)}\left(E_{k}\right)=-v_{B}^{(2)}\left(E_{k}\right) \log \mu_{B}^{(2)}\left(E_{k}\right).
IB(2)(Ek)=−vB(2)(Ek)logμB(2)(Ek).
定义 1.9 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A, 系统的可能决策自信息定义如下：
I
B
(
2
)
(
D
)
=
∑
k
=
1
r
I
B
(
2
)
(
E
k
)
.
I_{B}^{(2)}(D)=\sum_{k=1}^{r} I_{B}^{(2)}\left(E_{k}\right).
IB(2)(D)=k=1∑rIB(2)(Ek).
1.3 有效决策自信息
定义 1.10 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, \quad B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A, 有效决策自信息定义如下：
I
B
(
3
)
(
E
k
)
=
I
B
(
1
)
(
E
k
)
+
I
B
(
2
)
(
E
k
)
.
I_{B}^{(3)}\left(E_{k}\right)=I_{B}^{(1)}\left(E_{k}\right)+I_{B}^{(2)}\left(E_{k}\right).
IB(3)(Ek)=IB(1)(Ek)+IB(2)(Ek).
定义 1.11 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, \quad B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A, 决策系统的有效决策自信息定义如下：
I
B
(
3
)
(
D
)
=
∑
k
=
1
r
I
B
(
3
)
(
E
k
)
.
I_{B}^{(3)}(D)=\sum_{k=1}^{r} I_{B}^{(3)}\left(E_{k}\right).
IB(3)(D)=k=1∑rIB(3)(Ek).
1.4 相对决策自信息
定义 1.12 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A, 相对决策的精度和粗糙度定义如下：
μ
B
(
3
)
(
E
k
)
=
c
e
r
t
B
(
E
k
)
p
o
s
s
B
(
E
k
)
,
v
B
(
3
)
(
E
k
)
=
1
−
c
e
r
t
B
(
E
k
)
p
o
s
s
B
(
E
k
)
.
\begin{aligned} &\mu_{B}^{(3)}\left(E_{k}\right)=\frac{{cert}_{B}\left(E_{k}\right)}{{poss}_{B}\left(E_{k}\right)}, \\ &v_{B}^{(3)}\left(E_{k}\right)=1-\frac{{cert}_{B}\left(E_{k}\right)}{{poss}_{B}\left(E_{k}\right)}. \end{aligned}
μB(3)(Ek)=possB(Ek)certB(Ek),vB(3)(Ek)=1−possB(Ek)certB(Ek). 显然，
0
≤
μ
B
(
3
)
(
E
k
)
,
v
B
(
3
)
(
E
k
)
≤
1.
μ
B
(
3
)
(
E
k
)
0 \leq \mu_{B}^{(3)}\left(E_{k}\right), v_{B}^{(3)}\left(E_{k}\right) \leq 1 . \mu_{B}^{(3)}\left(E_{k}\right)
0≤μB(3)(Ek),vB(3)(Ek)≤1.μB(3)(Ek) 描述了确信决策和可能决策的对象基数的比例。
v
B
(
3
)
(
E
k
)
v_{B}^{(3)}\left(E_{k}\right)
vB(3)(Ek) 描述了对象在可能决策中但没有在确信决策中的比例。
定义 1.13 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A，相对决策自信息的定义为：
I
B
(
4
)
(
E
k
)
=
−
v
B
(
3
)
(
E
k
)
log
μ
B
(
3
)
(
E
k
)
.
I_{B}^{(4)}\left(E_{k}\right)=-v_{B}^{(3)}\left(E_{k}\right) \log \mu_{B}^{(3)}\left(E_{k}\right).
IB(4)(Ek)=−vB(3)(Ek)logμB(3)(Ek).
定义 1.14 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, \quad B \subseteq A
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A, 决策信息系统的相对决策自信息定义如下：
I
B
(
4
)
(
D
)
=
∑
k
=
1
r
I
B
(
4
)
(
E
k
)
.
I_{B}^{(4)}(D)=\sum_{k=1}^{r} I_{B}^{(4)}\left(E_{k}\right).
IB(4)(D)=k=1∑rIB(4)(Ek).
定义 1.15 给定决策表
(
U
,
A
,
D
)
,
U
/
D
=
{
E
1
,
E
2
,
⋯
,
E
r
}
,
B
⊆
A
,
B
(U, A, D), U / D=\left\{E_{1}, E_{2}, \cdots, E_{r}\right\}, B \subseteq A, B
(U,A,D),U/D={E1,E2,⋯,Er},B⊆A,B 被称为
A
A
A 关 于
D
D
D 的相对决策约简, 当且仅当：
(1)
I
B
(
4
)
(
D
)
=
I
A
(
4
)
(
D
)
I_{B}^{(4)}(D)=I_{A}^{(4)}(D)
IB(4)(D)=IA(4)(D);
(2)
I
B
−
a
i
(
4
)
(
D
)
≠
I
B
(
4
)
(
D
)
I_{B-{a_{i}}}^{(4)}(D) \neq I_{B}^{(4)}(D)
IB−ai(4)(D)=IB(4)(D), 对于任意
a
i
∈
B
a_{i} \in B
ai∈B.
2 应用举例
演示四种领域自信息的计算过程。直接贴图片吧，嘻嘻嘻…
表 3-1 为一个决策系统
(
U
,
A
,
D
)
(U, A, D)
(U,A,D), 这里
U
=
{
x
1
,
x
2
,
x
3
,
x
4
,
x
5
,
x
6
}
U=\left\{x_{1}, x_{2}, x_{3}, x_{4}, x_{5}, x_{6}\right\}
U={x1,x2,x3,x4,x5,x6} 是 对象集
A
=
{
a
1
,
a
2
,
a
3
}
A=\left\{a_{1}, a_{2}, a_{3}\right\}
A={a1,a2,a3} 是属性集，
D
D
D 是决策属性。根据决策属性
D
D
D 将论域划分成两个等价类
E
1
=
{
x
1
,
x
2
,
x
3
}
E_{1}=\left\{x_{1}, x_{2}, x_{3}\right\}
E1={x1,x2,x3} 和
E
2
=
{
x
4
,
x
5
,
x
6
}
E_{2}=\left\{x_{4}, x_{5}, x_{6}\right\}
E2={x4,x5,x6}
首先将决策表标准化到
[
0
,
1
]
[0,1]
[0,1] 区间, 结果如表 3.2 所示。
在本例题中，设定邻域粒度 δ=0.4，计算所有属性子集的关系矩阵，结果如下所示:
根据关系矩阵，计算两个决策类
E
1
E_{1}
E1 和
E
2
E_{2}
E2 的确信决策指标和可能决策指标。结果如表 3-3 和表 3-4 所示。
分别计算出确信决策，可能决策和相关决策的精度，如表 3-5 所示以及三种决策的粗糙度如表 3-6 所示。（涉及到对数运算，精度不能为0，取0.1111。Why? 我也不知道额…）
表 3-7 显示了由确信决策自信息，可能决策自信息，有效邻域自信息和每个决策类的相对邻域自信息计算的结果。
表 3-8 表示系统的四种邻域自信息计算结果。
从表 3-8 中不难发现，随着特征数的增加，每种邻域的自信息都在单调地减少。通过比较有效决策自信息和相对决策自信息，可以发现相对决策自信息减少得更为显著。这意味着相对决策自信息具有更大的收敛速度，更容易受到特征分类能力的影响，因此说明相对决策自信息更适合刻画特征子集的区分能力。
考虑到相对决策自信息不仅可以减少误分类的可能性，而且具有较好的收敛效果，故用其作为特征评价函数来度量特征子集的分类能力。
3 小结
心若有所向往，何惧道阻且长！共勉！
参考文献
[1]黄洋. 基于自信息测度的特征选择方法研究[D].渤海大学,2019.
2288
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
