【自然语言处理】【聚类】TELL：可解释神经聚类

超越分类的XAI：可解释神经聚类 《XAI Beyond Classification: Interpretable Neural Clustering》

论文地址：https://www.jmlr.org/papers/volume23/19-497/19-497.pdf

相关博客：
【自然语言处理】【聚类】基于神经网络的聚类算法DEC
【自然语言处理】【聚类】基于对比学习的聚类算法SCCL
【自然语言处理】【聚类】DCSC：利用基于对比学习的半监督聚类算法进行意图挖掘
【自然语言处理】【聚类】DeepAligned：使用深度对齐聚类发现新意图
【自然语言处理】【聚类】CDAC+：通过深度自适应聚类发现新意图
【计算机视觉】【聚类】DeepCluster：用于视觉特征无监督学习的深度聚类算法
【计算机视觉】【聚类】SwAV：基于对比簇分配的无监督视觉特征学习
【计算机视觉】【聚类】CC：对比聚类
【计算机视觉】【聚类】SeLa：同时进行聚类和表示学习的自标注算法
【自然语言处理】【聚类】ECIC：通过迭代分类增强短文本聚类
【自然语言处理】【聚类】TELL：可解释神经聚类

一、简介

​ 本文研究了可解释AI($\text{XAI}$)和数据聚类这两个挑战性问题。第一个问题是如何设计一种具有固定可解释性的神经网络，而不是给出一个黑盒模型的事后解释。第二个问题是，使用可微分神经网络来实现离散的$\text{k-means}$，其拥有具有并行计算、在线聚类和聚类友好的表示学习等优势。为了解决这两个挑战，本文设计了一种新颖的神经网络，该网络是普通$\text{k-means}$的可微分版本，称为$\text{TELL(Terpretable nEuraL cLustering)}$。本文贡献有三部分：首先，许多可解释工作专注在有监督范式，本文的工作是少有的无监督学习上的可解释性研究。其次，$\text{TELL}$是一个可解释，或者称为本质上可解释且透明的模型。相反，许多现有的可解释AI研究($\text{XAI}$)采用各种方式理解带有事后解释的黑盒模型。最后，$\text{TELL}$具有$\text{k-means}$所期望的各种性质，包括但不限于在线聚类、即插即用、并行计算和可证明的收敛。

二、标准$\text{k-means}$的不足

​ 给定一个数据集 X = { X 1 , X 2 , … , X n } \textbf{X}=\{\textbf{X}_1,\textbf{X}_2,\dots,\textbf{X}_n\} X={X1​,X2​,…,Xn​}，$\text{k-means}$的目标是通过最小化簇内数据点的距离来将每个数据点${\text{X}}_i$分组至$k\le n$个集合 S = { S 1 , S 2 , … , S n } \mathcal{S}=\{\mathcal{S}_1,\mathcal{S}_2,\dots,\mathcal{S}_n\} S={S1​,S2​,…,Sn​}的一个，即
$${\mathrm{argmin}}_{\mathcal{S}}\sum _j\sum _{{\text{X}}_i\in {\mathcal{S}}_j}\parallel {\text{X}}_i-{\Omega }_j{\parallel }_2^2\text{\hspace{1em}(1)}$$
其中，${\Omega }_j$表示第$j$个簇中心，其是由${\mathcal{S}}_j$中数据点的均值计算所得。即
$${\Omega }_j=\frac{1}{|{\mathcal{S}}_j|}\sum _{{\text{X}}_i\in {\mathcal{S}}_j}{\text{X}}_i\text{\hspace{1em}(2)}$$
其中，$|{\mathcal{S}}_j|$表示第$j$个簇中数据点的个数。

​ 为了求解等式$(1)$，采用$\text{EM}$方式来迭代更新$\mathcal{S}$和$\Omega$，即固定一个来优化另一个。这样的迭代优化有几个缺点：

​ 首先，在欧式空间中寻找$\text{k-means}$的最优解是NP难问题，即使对于两个簇的聚类。为了缓解NP难问题，一些$\text{k-means}$的变体被提出，例如参数方法$\text{Fuzzy c-means}$。然而，这些方法对超参数非常敏感且非常难以调优。

​ 其次，标准$\text{k-means}$在每次迭代中都需要在整个数据集上计算簇中心。当数据以流式呈现时，那么在大规模数据和在线聚类场景中都无法使用。更准确地说，虽然能够将新数据分配至最近的簇，但无法进一步更新簇中心，除非在所有数据上再重新跑整个算法。

​ 最后，标准$\text{k-means}$在固定的输入上执行，并不能辅助表示学习。深度学习的成功，很大程度上依赖端到端的学习，一个即插即用的神经聚类模块非常值得期待。在提出的方法$\text{TELL}$中，聚类层能够仅执行聚类，也可以帮助网络以端到端的方式学习有益于聚类的表示。

三、聚类算法$\text{TELL}$

1. $\text{k-means}$的神经网络实现

​ 为了克服标准$\text{k-means}$的缺点，通过重写等式$\text{(1)}$将目标函数重写为神经层
$$\text{min}\sum _{i=1}^n\sum _{j=1}^k{\mathcal{I}}_j({\text{X}}_i)\parallel {\text{X}}_i-{\Omega }_j{\parallel }_2^2\text{\hspace{1em}(3)}$$
其中，${\mathcal{I}}_j$表示样本${\text{X}}_i$是否属于簇${\Omega }_j$。

​ 等式$(3)$的右半部分可以被扩展为
$$\parallel {\text{X}}_i-{\Omega }_j{\parallel }_2^2=\parallel {\text{X}}_i{\parallel }_2^2-2{\Omega }_j^{\top }{\text{X}}_i+\parallel {\Omega }_j{\parallel }_2^2\text{\hspace{1em}(4)}$$
​ 然后定义
$${\text{W}}_j=2{\Omega }_j,{\text{b}}_j=-\parallel {\Omega }_j{\parallel }_2^2,\parallel {\text{X}}_i{\parallel }_2^2={\beta }_i\ge 0\text{\hspace{1em}(5)}$$
其中，${\text{W}}_j$是矩阵$\text{W}$的第$j$列，${\text{b}}_j$表示向量$\text{b}$的第$j$个分量，${\beta }_i$是一个对应于数据点${\text{X}}_i$长度的非负常数。

​ 根据上面的公式，可以等价地将数据点${\text{X}}_i$和簇中心${\Omega }_j$的距离重写为
$$\parallel {\text{X}}_i-{\Omega }_j{\parallel }_2^2={\beta }_i-{\text{W}}_j^{\top }{\text{X}}_i-{\text{b}}_j\text{\hspace{1em}(6)}$$
​ 对于给定的temperature参数$\tau$，放松类别变量${\mathcal{I}}_j({\text{X}}_i)$为
$${\mathcal{I}}_j({\text{X}}_i)=\frac{\text{exp}(-\parallel {\text{X}}_i-{\Omega }_j{\parallel }_2^2/\tau )}{{\sum }_k\text{exp}(-\parallel {\text{X}}_i-{\Omega }_k{\parallel }_2^2/\tau ))}\text{\hspace{1em}(7)}$$
​ 事实上，上面关于${\mathcal{I}}_j({\text{X}}_i)$的定义将其看作${\text{X}}_i$在第$j$个簇的注意力。

​ 合并等式$(6)$和等式$(7)$，${\mathcal{I}}_j({\text{X}}_i)$能够被提出的神经层来计算
$${\mathcal{I}}_j({\text{X}}_i)=\frac{\text{exp}(({\text{W}}_j^{\top }{\text{X}}_i+{\text{b}}_j-{\beta }_i)/\tau )}{{\sum }_k\text{exp}(({\text{W}}_k^{\top }{\text{X}}_i+{\text{b}}_k-{\beta }_i)/\tau )}\text{\hspace{1em}(8)}$$
​ 连续类别变量${\mathcal{I}}_j({\text{X}}_i)$可以使用任何规范化函数来计算，包括但不限于$\text{softmax}$。为了避免对temperature参数进行大量的调整，本文实现时采用了替代方案，通过简单地保留${\mathcal{I}}_j({\text{X}}_i)$的最大分量。当$\tau$趋于0时，其与标准$\text{k-means}$保持一致。

2. 解耦网络权重和偏差

​ 为了避免复杂数学符号带来的混淆，不失一般性地，在下面的分析中仅考虑一个样本$\text{x}$的例子。在这个例子中，$\text{TELL}$的目标函数能够被形式化为
$$\mathcal{L}=\sum _j{\mathcal{L}}_j=\sum _j{\mathcal{I}}_j(-{\text{W}}_j^{\top }\text{x}-{\text{b}}_j+\beta )\text{\hspace{1em}(9)}$$
其中，${\mathcal{I}}_j$是${\mathcal{I}}_j(\text{x})$的简写。

​ 虽然根据等式$(5)$的定义来看$\text{W}$和$\text{b}$是天然耦合的，即${\text{b}}_j=-\frac{\parallel {\text{W}}_j{\parallel }_2^2}{4}$，但是作者从理论上证明了训练过程中$\text{W}$和$\text{b}$是应该被解耦的。换句话说，$\text{W}$和$\text{b}$应该被独立优化并且最终的簇中心${\Omega }^{\ast }$通过${\Omega }^{\ast }=\frac{1}{2}{\text{W}}^{\ast }$来获得。

​ 证明解耦$\text{W}$和$\text{b}$的必要性，需要将等式$(9)$重写为
$$\begin{array}{rl}\mathcal{L}& =-\sum _j\frac{\text{exp}(({\text{b}}_j+{\text{W}}_j^{\top }\text{x}-\beta )/\tau )({\text{b}}_j+{\text{W}}_j^{\top }\text{x}-\beta )}{{\sum }_k\text{exp}(({\text{b}}_k+{\text{W}}_k^{\top }\text{x}-\beta )/\tau )}\\ & =-\sum _j\frac{\text{exp}({\text{z}}_j/\tau )}{{\sum }_k\text{exp}({\text{z}}_k/\tau )}{\text{z}}_j\\ & =-\sum _{j}f({\text{z}}_j)\end{array}\text{\hspace{1em}(10)}$$
其中，${\text{z}}_j=(-\frac{\parallel {\text{W}}_j{\parallel }_2^2}{4}+{\text{W}}_j^{\top }\text{x}-\beta )$。

​ 相应地，目标损失函数变为
$$\begin{gathered} \text{max}\sum _{j}f({\text{z}}_j) \\ \text{s.t.}{\text{z}}_j=-\frac{\parallel {\text{W}}_j{\parallel }_2^2}{4}+{\text{W}}_j^{\top }\text{x}-\beta \text{\hspace{1em}(11)} \end{gathered}$$
可以看到，等式当$\text{W}$和$\text{b}$耦合时，即${\text{b}}_j=-\frac{\parallel {\text{W}}_j{\parallel }_2^2}{4}$，等式$(11)$等价于等式$(3)$。当$\text{z}=\infty$时，等式$(11)$在边界${\text{z}}_1={\text{z}}_2=\dots$获得最优值$f(\text{z})=\infty$。存在一个${\text{z}}^{\ast }$使${\text{z}}_j={\text{z}}^{\ast }$且$f({\text{z}}^{\ast })$达到最优值。我们总能找到${\text{W}}_j$和${\text{b}}_j$使得${\text{b}}_j+{\text{W}}_j^{\top }\text{x}-\beta ={\text{z}}^{\ast }$，而不必保证${\text{W}}_j$和${\text{b}}_j$满足$-\frac{\parallel {\text{W}}_j{\parallel }_2^2}{4}+{\text{W}}_j^{\top }\text{x}-\beta ={\text{z}}^{\ast }$。虽然上面的分析是基于单个样本的，结论仍然适用于多个样本，因为它们彼此独立。从某种意义上，我们必须在训练中解耦${\text{W}}_j$和${\text{b}}_j$来避免平凡解。

3. 规范化聚类层的权重和梯度

​ 上一小节，我们展示了解耦$\text{W}$和$\text{b}$来阻止网络退化为平凡解的必要性。然而，我们进一步发现解耦$\text{W}$和$\text{b}$并直接优化它们将导致发散和训练不稳定。为了解决这个问题，我们提出规范化聚类层的权重和它的梯度来实现稳定训练，如上图所示。

​ 具体来说，当$\text{W}$和$\text{b}$被解耦时，最小化等式$(9)$的损失函数${\sum }_j{\mathcal{I}}_j(-{\text{W}}_j^{\top }\text{x}-{\text{b}}_j+\beta )$将导致${\text{W}}_j^{\top }$和${\text{b}}_j$为正无穷，如上图(a)所示。在这个例子中，聚类层的优化永远都不会收敛。为了解决这个问题，作者提出了同时规范化聚类层的权重和偏差。实际上，作者采用了更直接的方法来簇中心${\Omega }_j,j\in [1,k]$规范化长度为1，即${\Omega }_j={\Omega }_j/\parallel {\Omega }_j\parallel$。因此，为了保持欧式距离的有效性，数据点也被规范化为具有单位长度，即$\beta =1$。从这个意义上来说，${\text{W}}_j$的长度为2且${\text{b}}_j$是个常数。因此，等式$(9)$的损失函数可以重写为
$$\mathcal{L}=\sum _j{\mathcal{L}}_j=\sum _j{\mathcal{I}}_j(2-{\text{W}}_j^{\top }\text{x})\text{\hspace{1em}(12)}$$
​ 在实践中，使用$\text{SGD}$来优化${\text{W}}_j$，在每次更新后都需要重新对其进行规范化。然而，如上图(b)所示，当梯度远大于${\text{W}}_j$的长度，在每次更新后${\text{W}}_j$的变化会特别大。使用$\text{MNIST}$数据集作为例子，一开始${\text{W}}_{old}$可能对应数字"3"的簇中心。然而，当梯度太大时，经过优化后${\text{W}}_{new}$可能迁移至数字"5"。换句话说，在每次迭代中${\text{W}}_j$的内在语义信息都可能不同，这将导致不稳定的优化并且导致网络很难收敛。

​ 考虑到前面提到的缺点，作者提出了同时上图©中同时规范化权重和梯度。当梯度足够小时，簇中心被适度优化并且其语义信息在整个训练过程中都保持一致，也就意味着稳定的训练。实践中，规范化梯度为${\text{W}}_j$长度的10%。

4. 用于聚类和表示学习的端到端训练

​ 基于上面的讨论，通过在神经层上使用下面的可微分损失函数来迁移标准的$\text{k-means}$。
$$\mathcal{L}=\sum _{i,j}{\mathcal{I}}_j({\text{X}}_i)(2-{\text{W}}_j^{\top }{\text{X}}_i)\text{\hspace{1em}(13)}$$
​ 相比于标准$\text{k-means}$，$\text{TELL}$的主要优势是即插即用，即能够插入仍然神经网络里利用深度表示改善聚类。为了这个目的，不直接在原始特征上执行聚类，而是使用最小化重构误差的自编码器来抽取判别性特征 h = { h 1 , h 2 , …   } \textbf{h}=\{\textbf{h}_1,\textbf{h}_2,\dots\} h={h1​,h2​,…}。
$$\begin{gathered} {\text{h}}_i=f({\text{X}}_i) \\ {\hat{\text{X}}}_i=g({\text{h}}_i) \\ {\mathcal{L}}_{rec}=\sum _i\parallel {\text{X}}_i-{\hat{\text{X}}}_i{\parallel }_2^2\text{\hspace{1em}(14)} \end{gathered}$$
其中，$f(\cdot )$和$g(\cdot )$表示编码器和解码器，${\text{h}}_i$被规范化为单位长度。在等式$(13)$中使用${\text{h}}_i$替换${\text{X}}_i$，$\text{TELL}$的整体损失合并了重构损失和聚类损失
$$\begin{array}{rl}\mathcal{L}& ={\mathcal{L}}_{rec}+\lambda {\mathcal{L}}_{clu}\\ & =\sum _i\parallel {\text{X}}_i-g(f({\text{X}}_i)){\parallel }_2^2+\lambda \sum _{i,j}{\mathcal{I}}_j({\text{X}}_i)(2-{\text{W}}_j^{\top }f({\text{X}}_i))\end{array}\text{\hspace{1em}(15)}$$
其中，$\lambda =0.01$。

​ 可以看出，重构损失函数被用于同时优化编码器$f(\cdot )$和解码器$g(\cdot )$。对于聚类损失函数，已经证明其可以优化聚类层权重${\text{W}}_j$。这里，为了进一步改善特征的表达能力，也使用聚类损失函数优化编码器$f(\cdot )$来特征拉近至对应的簇中心。实践中，为了稳定的训练，等式$(15)$右侧被用于交替优化$\text{W}$和$f(\cdot )$。整体的端到端训练框架图如上图所示。

四、$\text{TELL}$的解释性

​ 虽然近些年可解释性AI（$\text{XAI}$）实现了显著的进步，但是文献中对于"$\text{explainability}$“和”$\text{interpretability}$"的误用是达成共识的一个障碍。简单来说，$\text{explainability}$是指通过各种方法进行事后归因解释来增强对模型的理解，例如：$\text{text explanations}$、$\text{visual explanations}$、$\text{explanations by simplification}$和$\text{feature relevance explanations}$技术。不同于$\text{explanations}$，$\text{interpretability}$植根于模型本身的设计，其非常值得期待但十分有挑战。$\text{interpretability}$也表达透明性，其表示模型的可分解性和算法的透明性。下面将展示$\text{TELL}$具有两种可解释特征。

​ $\text{TELL}$用于模型可分解性，其意味着解释聚类层的每个部分是可行的。换句话说，聚类层的输入、权重参数、激活函数和损失函数都是可解释的。具体来说，聚类层的输入对应给定的数据点，权重矩阵$\text{W}$是簇中心$\Omega$，$\text{argmax}$激活函数被用于实现数据点至最近簇的分配，损失函数则是从标准$\text{k-means}$推导出，如等式$(\text{4-5})$。为了加强可解释性的主张，作者还通过可视化从$\Omega$重构的簇中心来作事后解释。如上图所示，重构的簇中心与$\text{MNIST}$的数字完全对应，说明$\text{TELL}$确实捕获到了内在的语义。

​ $\text{TELL}$也具有算法透明性，因为其动态行为可以从数学上进行推理，从而允许用户理解模型的行为。具体来说，作者不仅在理论上提供了收敛分析，而且展示了解耦$\text{W}$和$\text{b}$的必要性，以及规范化权重$\text{W}$和梯度能够实现合适且稳定的优化。

​ 此外，作者还从自然语言理解中流行的注意力机制来理解$\text{TELL}$的工作方式。如上图所示，$\text{TELL}$的目标是学习一个划分簇中心的线性超平面$\text{W}$。这个超平面能基于注意力将相似数据划分至相同的簇，并将不相似的数据划分至不同的簇。更具体的来说，通过等式$(6)$学习超平面，$\text{TELL}$通过$(2-{\text{W}}^{\top }{\text{X}}_i)$计算输入${\text{X}}_i$和簇中心$\Omega$的不相似度。然后，$\text{TELL}$是基于$\mathcal{I}({\text{X}}_i)$的加权不相似度之和。直觉上，这个注意力机制的实现如上图所示，其决定了${\text{X}}_i$应该关注哪个簇中心。实际上，这里的注意力是簇分配。

五、收敛证明

​ 在本小节，作者从理论上证明提出的损失函数$\mathcal{L}$基于$\text{SGD}$能够充分收敛。

​ 为了便于展示，令${\mathcal{L}}^{\ast }$表示最优损失函数，${\mathcal{L}}_t^{\ast }$表示在步骤$t$是的最小损失函数，${\text{W}}^{\ast }$则是对应于最优簇中心${\Omega }^{\ast }$的权重。这里考虑使用标准$\text{SGD}$来优化网络
$${\text{W}}_{t+1}={\text{W}}_t-{\eta }_t\nabla \mathcal{L}({\text{W}}_t)\text{\hspace{1em}(16)}$$
其中，$\nabla \mathcal{L}({\text{W}}_t)$表示$\mathcal{L}$关于${\text{W}}_t$的梯度。下面，将$\nabla \mathcal{L}({\text{W}}_t)$缩写为$\nabla {\mathcal{L}}_t$。

• 定义1: $\text{Lipschitz}$连续性

  如果存在一个常数$ϵ>0$，对于所有的$x_1,x_2\in \Omega$都有
  $$\parallel f(x_1)-f(x_2)\parallel \le ϵ\parallel x_1-x_2\parallel \text{\hspace{1em}(17)}$$

  则称函数$f(x)$在集合$\Omega$上是$\text{Lipschitz}$连续的，其中$ϵ$被称为$\text{Lipschitz}$常数。

  $\text{TELL}$的损失函数$\mathcal{L}$是$\text{Lipschitz}$连续的，$\text{i.i.f. }\parallel \nabla {\mathcal{L}}_t\parallel \le ϵ$。换句话说，为了满足$\text{Lipschitz}$连续性，需要证明$\nabla {\mathcal{L}}_t/\tau$的上界是存在的。

• 定理1：存在$ϵ>0$使得$\parallel \nabla {\mathcal{L}}_t\parallel \le ϵ$，其中$ϵ=\tau +2\tau \text{max}(\parallel {\text{z}}_i\parallel )$和${\text{z}}_i={\text{W}}_i^{\top }\text{x}/\tau$。

  定理1表明，当$\parallel {\text{z}}_i\parallel$是有界的，提出的损失函数$\mathcal{L}(\text{W})$将会有一个正实数$ϵ$的上界。事实上，对于任何真实世界中的数据集都存在$\parallel {\text{z}}_i\parallel$的上界。此外，不失一般性地，由于可以规范化$\text{x}$和${\Omega }_i$来满足$\parallel \text{x}\parallel =\parallel {\Omega }_i\parallel =1$，这样$\parallel {\text{W}}_i\parallel =2$就是边界。基于定理1，会有下面的定理2。

• 定理2：经过$T$步骤后，总是能够发现足够解决最优值${\mathcal{L}}^{\ast }$的最优模型${\mathcal{L}}_T^{\ast }$，即
  $${\mathcal{L}}_T^{\ast }-{\mathcal{L}}^{\ast }\le \frac{\parallel {\text{W}}_1-{\text{W}}^{\ast }{\parallel }_F^2+{ϵ}^2{\sum }_t^T{\eta }_t^2}{2{\sum }_{t=1}^T{\eta }_t}\text{\hspace{1em}(18)}$$
  基于定理2可以推导出下面的两个引理。

• 引理1：对于固定大小的step(即${\eta }_t=\eta$)且$T\to \infty$，有
  $${\mathcal{L}}_T^{\ast }-{\mathcal{L}}^{\ast }\to \frac{\eta {ϵ}^2}{2}\text{\hspace{1em}(19)}$$

• 引理2：对于固定的step长度(即${\eta }_t=\eta /\nabla {\mathcal{L}}_t$)且$T\to \infty$，有
  $${\mathcal{L}}_T^{\ast }-{\mathcal{L}}^{\ast }\to \frac{\eta ϵ}{2}\text{\hspace{1em}(19)}$$

六、实验