《Coupled Term-Term Relation Analysis for Document Clustering》文献笔记（上）

相关工作

        这部分主要阐述了两点，一是介绍Document Clustering领域的背景知识，其实质内容只是介绍了Document Representation——Document Clustering领域的一小部分，以词包表示法为例，给出了文本表示的数学模型；二是相关工作，列举了研究词之间关系强度计算方法，以广义向量空间模型（BVSM）为分析重点。

 

        文本表示

       [补充知识]文本表示的基本原理，在自然语言处理中，文本通常被抽象成由<特征项—特征值>构成的特征向量，所以分两方面：特征项抽取，特征值计算。特征项的抽取通常来自对文本内部的分词，如早期的tf-idf向量空间模型（也是最为经典的模型，该模型之于文本表示就如同物理模型中的自由落体运动之于匀加速直线运动）。在近期研究中，从外部如WordNet字典、维基百科、概念本体等选取特征项的方法被证明可以更好的揭示文本的语义关系，如潜在语义分析、ESA等；而对于特征值的计算和优化方面，研究和模型较多，计算的方法主要是基于统计学，并从各个层面如词的贡献度、词条联系强调、共词分析、文献共引等去挖掘语义关系，并将这种语义关系反映到特征值的加权计算中。——（文本表示的研究可以有一个综述……）。

 

        以词包法（BOW）为例，给出了文本表示的一般模型，其实就是将文本d映射到通过tf-idf方法计算得到的文档向量，数学公式如下： 

 

 

        已有模型缺点：以词与词之间是相互独立为假设前提，完全忽略了词与词之间的语义关系。所以这个公式给后续的研究留下来可扩展的余地，如果引入不同的语义关系矩阵S，那么可表示为=S。

 

        已有方法

        为弥补以前纯粹基于统计学方法计算特征值的丢失语义性，后续研究中充分挖掘词之间的多种联系，包括共现关系、同义关系、本体关系、基于统计关系、语义关系等，其中共现关系（co-occurrence relation）是重要的一种，重要的模型有GVSM，CVM-VSM和GTCV-VSM

        缺点：纯粹的基于统计分析；仅考察了文本内的词的共现频率，而同一领域或同一主题的专业词通常不会共现，如Data mining和Machine learning，这种隐性（implicit）关系被忽略，词与词之间的语义关系没有被充分挖掘（traditional measures fail to capture the complete semantic relation between terms）。

 

        总结语

        鉴于相关工作中出现的问题，本文将词的隐性关系融入到词共现方法中，期望从capture the complete semantic relation between terms中去得到a complete representation of the semantic information for the document set，这种思路尚属空白。

 

词耦合模型

        基本原理

        思路：同时考虑词之间的intra-relationship（显示关系）和inter-relationship（非显示/隐形关系）两种关系，它们都是词之间语义关系的组成部分。

        显性关系的探测方法：一种原有的共现方法——Jaccard measure

        隐形关系的探测方法：通过link terms得到隐性依赖强度。

        耦合关系：即综合上述两种关系所得，得到文档集的完全语义表示。

 

        本文方法的数学模型

        D = {d1, d2, d3}， dx∈D，x∈{1, 2, 3}，m = |D| = 3。

           t(D) = {DM, ML, DB, CS}，ti∈t(D)，i∈(1, 2, 3, 4)，n = 4。

           CoR(DM, CS) → IaR(DM, CS)→ R_IaR()→ IeR(DM, CS)→ CR(DM, CS)。

           CoR(DM, CS) = CoR(CS, DM)；IaR(DM, CS) ≠ IaR(CS，DM) 。

 

        实验展示

 

        个人思考

        1、该模型其本质还是统计学方法，不管是共现关系、显示关系基于对词的统计。

        2、标题是用于文本聚类，文本聚类是以文本表示为基础，而文本表示是以特征项和特征值计算为基础。本文所做的工作仅仅是在对term（词）权值优化层面。

        3、拿本文方法和显性语义分析对比，显现语义分析侧重特征项的选取（文本的特征项并不是从文本本身抽取），而词耦合侧重的是特征值的优化。

        4、Intra-relation后面加了一个注解explicit，为了和显性语义分析加以区别，翻译成词的显示关系比较妥当。 

 

数据和实验

        数据集有3个20新闻组（20 Newsgroups），Reuters 21578，WebKB benchmark

document collection。其中20新闻组已经下载过。

        评价指标有4个，其中有熟悉的F1-measure，Purity，RI，NMI。

 

启示

        1、Document既可以是文本，也可以是文献。本文的思路仅仅是要去充分挖掘词之间的语义信息。可以借鉴该思路，从一个更宏观的角度去考察文献层面的语义信息。

        2、本文所做的工作仅仅是在对term（词）权值优化层面，是否可以从特征项的选取角度去考虑。