[论文阅读]：Semi-supervised Multi-instance Learning with Density Peaks Clustering

[论文阅读]：Semi-supervised Multi-instance Learning with Density Peaks Clustering

时间：2022/5/31

1.题目

Semi-supervised Multi-instance Learning with Density Peaks Clustering

密度峰值聚类的半监督多示例学习

2.摘要

文章提出了密度峰值聚类的半监督多示例学习（Semi-supervised Multi-instance Learning with Density Peaks Clustering，SMDP）算法，包含三个步骤：

（１）结合高斯核和五种距离度量，使用基于密度峰值聚类的方法寻找代表包；

（２）基于包之间的距离将每一个包转换为单实例，其第ｉ个属性为它与第ｉ个代表包的距离；

（３）使用转换后的数据训练分类器。

SMDP在文本和图像数据集上的处理效果优异。

3.主要贡献

1. 将密度峰值算法应用MIL中的代表包选择过程中，提高了代表包的选取效率。

2. 对文本数据集和图像数据集分别利用虚拟Hausdorff距离和最小偏差距离。它们具有更高的适用性和更低的时间复杂度。

3. 与现有的算法相比，SMDP在大部分MIL数据集上具有更好的性能。

4.符号系统

符号	含义
X	实例空间
S	数据集
N	数据集大小
c	类标号个数
$S_k,k\in [1...c]$	第k个类的包
$S_i,i\in [1...l]$	带标签的包
$S_u,i\in [l+1,...,N]$	不带标签的包
$B_i$	第i个包
$y_i,i\in [1,...,l]$	第i个包的标签
$l$	数据集$S_i$的大小
$x_{ij}$	第i个包的第j个实例
$d_{ij}$	$B_i与B_j的距离$
$d_c$	cutoff距离
$r$	$d_c的比率$
${\rho }_i$	第i个包的密度
${\delta }_i$	到包$B_i的master的距离$
$n_c$	簇中心的个数
$p$	簇中心个数与实例个数的比例
$y_i^{‘},i\in [l+1...N]$	预测标签

5.密度峰值聚类

大师兄的文章对该算法进行了详细描述，[机器学习之Density Peaks_因吉的博客-CSDN博客_density peaks)

5.1.三种距离

同一标准下，用于计算密度的半径距离。首先是diameter dc距离，其定义为：

$$d{c}_{diameter}=max(\sum _{i=0}^{i<n-1}\sum _{j=i+1}^{n}distance(x_i,x_j))\ast d{c}_{ratio}\text{\hspace{1em}(1)}$$

第二个距离为average dc距离，定义为：

$$d{c}_{average}=average(\sum _{i=0}^{i<n-1}\sum _{j=i+1}^{n}distance(x_i,x_j))\ast d{c}_{ratio}\text{\hspace{1em}(1)}$$

第三个距离为min dc,定义为：

$$d{c}_{min}=min(\sum _{i=0}^{i<n-1}\sum _{j=i+1}^{n}distance(x_i,x_j))\ast d{c}_{ratio}\text{\hspace{1em}(2)}$$

5.2.局部密度

这里也有两种方式计算。首先是使用cutoff核。

$$kerne{l}_{cutoff}:{\rho }_i=\sum _{j=0}^{n}f(distance(x_i,x_j)-dc)\text{\hspace{1em}(3)}$$

其中

$$f(x)=\{\begin{array}{ll}0,& \text{x > 0}\\ 1,& \text{x≤0}\end{array}\text{\hspace{1em}(4)}$$

在一定的dc范围内，有多少个实例，便密度${\rho }_i$就是多少。但会出现具有相同密度的实例。解决方法是：

1. 使用自然优先级，将实例按密度从大到小排列，必然会有先后顺序出现。

2. 使用高斯核。如下：

$$kerne{l}_{gaussian}:{\rho }_i=\sum _{j=0}^n{e}^{-(\frac{distance(x_i,x_j)}{dc}{)}^2}\text{\hspace{1em}(5)}$$

其中distance均为欧式距离。高斯核可以极大程度的避免出现相同密度的实例的情况，且能保证随着单个实例范围的其他实例数量增加时，也会相应的增大。

5.3.计算实例与其master的距离

$${\delta }_i=\{\begin{array}{ll}max(distance(x_i,x_j)),& \text{ρi=maxj∈[l...N](ρj) > 0}\\ \text{minj∈[l..N]∣ρj>ρi},& \text{otherwise}\end{array}\text{\hspace{1em}(6)}$$

最终的距离定义为：

$${\lambda }_i={\rho }_i\ast {\delta }_i\text{\hspace{1em}(7)}$$

使得实例中具有最高密度和最远距离的作为聚类中心。

6.算法

7.SMDP中的密度峰值聚类

在算法中，主要是使用DP算法进行代表包的选择，使用相关距离度量进行计算包与包之间的距离。而最终的包的代表性也是由基于这个距离进行计算的。每个包的master均是距离其最近且密度最大的包。

8.两种新的距离度量

对于文本数据集，可以使用包的中心实例代表整个包，则中心实例代表的计算如下：

$$\overline{x}=\frac{{\sum }_{j=1}^{n_i}{x}_{ij}}{n_i}\text{\hspace{1em}(8)}$$

这里有个新的虚拟距离virtual Hausdorff distanced（$d^{vir}$）,使用上式来计算包与包之间的距离，而不是使用包来计算，其定义为：

$$d^{vir}=d(\overline{x_i},\overline{x_j})\text{\hspace{1em}(9)}$$

对于图像数据集，使用min-bias distance（$d^{bia}$）,其定义为：

$$d_{ij}^{bia}=\underset{i=1}{\overset{n_i}{\min }}d(x_{ia},b_{ias})\text{\hspace{1em}(10)}$$

其中

$$b_{ias}=\frac{{\sum }_{x_{ia}}^{n_i}{x}_{ia}+{\sum }_{x_{jb}}^{n_j}{x}_{jb}}{n_i+n_j}\text{\hspace{1em}(11)}$$