文档的相似性和分类

如何求文档相似性？

1. 将文档生成k-shingle集合，或由k-shingle集合映射成更少量的桶编号；
2. 为了能在内存中装载k-shingle集合，将该集合生成长度为n的最小hash签名，即选择n个hash函数，分别将集合进行行变换，取每次变换后所得的最小hash共同构成一个签名矩阵；
3. 由于签名矩阵对应的文档数目比较大，再次采用hash来比较文档的相似性。基于LSH的技术，将签名矩阵行条化，分成b个行条，每个行条有r行，则任意行条内hash值相同的列为候选的相似文档。可以计算出文档相似的概率为1-(1-s^r)^b，s为任意一行签名相等的概率，其近似阀值为(1/b)^(1/r)。s也同时为文档的jaccard相似度，若需要较少的伪正例，应选择合适的b，使得s较大，反之，若需要较少的伪反例，应选择合适的b，使得s较小；

如何对文档分类？

对一个文档，去掉其中的一些停用词后，求出TF.IDF比较高的词。IDF为文档的总数与该词所出现文档数比值的对数，其反映了一个词刻画的文档的专业度。专业度越高，与专业相关的文档数目越少。