文档相似性设计预言

预言

当下较常用的相似度计算大致分为两类：

一、主题模型：
代表方式： LSA/LSI、NMF、LDA、word2vec等。
描述：这类算法可算作最简单的机器学习，对于基础文档进行主题过滤，计算出主题和词语、主题和文档的关联性，对于文档中语义的判定提供支持。

二、特征向量+距离算法
代表方式：simhash+汉明距离、余弦相似性、Jaccard相似性系数等。
描述：
此类算法先对文档进行分词，根据词频等权重量，将词语抽象为空间向量，对其偏移进行计算，以作为相似性依据。

三、最终选择
余弦相似性算法。

实现思路

一、分词方案
1、对文件进行过滤（去空格、去标点、去停用词）
2、对过滤后内容进行分词
3、按照词频对分词结果进行去重计数
4、筛选topN关键词形成如下结构，代表当前文件，并作为存储原始数据

{
	‘fileName’:’’,
	‘fileSize’:’’,
	‘wordsVector’:[‘词1’、’词2’、‘词3’……],
	‘weightVector’:[5,3,3……]
}

说明：
fileName为文件MD5
fileSize为文件大小
wordsVector为topN关键词内容
weightVector为topN关键词对应词频

二、存储方案
针对分词最后给出的结构，采用key-value数据库进行存储。
1、按关键词wordsVector进行存储，key为每一个关键词，value为链表，链表内容为文件MD5（若该词被多个文档使用，则此链表中会存储所有包含该关键词的文件MD5）。
2、存储文件信息，key为文件MD5,value为该文件进行分词处理后的原始数据。
注：数据存储大小，根据关键词的不同会有差距，预计5kb

三、匹配方案
1、先根据当前文件分词结果，按分词逐一查找key-value数据库中匹配关键词的数据，汇总为一个完整的链表。
2、对该链表进行去重排序。
3、只保留重复次数大于配置阈值1的MD5
4、根据MD5逐一获取对应原始数据，并根据fileSize进行二次过滤，相差太大的文件直接予以去除。
5、对剩下的文件进行逐一余弦计算，将大于阈值2的数据筛出，此部分数据即为当前文档的相似文档。

注：
阈值1：关键词个数阈值，表示重合关键词个数 阈值2：相似度阈值，相似度超过该值，则为相似文件
现阶段：模拟10W历史文件入库，新文件找相似需要200-300ms

实际项目实际方案

一、相关技术
分词：jieba
key-value:redis

二、文件分析项目改动点
对于解析完成后的文件内容，进行【分词方案】、【存储方案】、【匹配方案】的操作，并将结果存入file_similar表。

新增file_similar表，表结构：

字段	类型	说明
id	long	主键
md5	varchar (128)	被对比文件MD5
md5_compare	varchar (128)	历史文件中筛选出的文件md5
similar_flag	varchar (1)	相似判定标志（1：是，0：否）
similarity	varchar (10)	相似度