最近由于工作项目,需要判断两个txt文本是否相似,于是开始在网上找资料研究,因为在程序中会把文本转换成String再做比较,所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好,受益匪浅。
于是我决定把它用到项目中,来判断两个文本的相似度。但后来实际操作发现有一些问题:直接说就是查询一本书中的相似章节花了我7、8分钟;这是我不能接受……
于是停下来仔细分析发现,这种算法在此项目中不是特别适用,由于要判断一本书中是否有相同章节,所以每两个章节之间都要比较,若一本书书有x章的话,这里需对比x(x-1)/2次;而此算法采用矩阵的方式,计算两个字符串之间的变化步骤,会遍历两个文本中的每一个字符两两比较,可以推断出时间复杂度至少为 document1.length × document2.length,我所比较的章节字数平均在几千~一万字;这样计算实在要了老命。
想到Lucene中的评分机制,也是算一个相似度的问题,不过它采用的是计算向量间的夹角(余弦公式),在google黑板报中的:数学之美(余弦定理和新闻分类) 也有说明,可以通过余弦定理来判断相似度;于是决定自己动手试试。
首相选择向量的模型:在以字为向量还是以词为向量的问题上,纠结了一会;后来还是觉得用字,虽然词更为准确,但分词却需要增加额外的复杂度,并且此项目要求速度,准确率可以放低,于是还是选择字为向量。
然后每个字在章节中出现的次数,便是以此字向量的值。现在我们假设:
章节1中出现的字为:Z1c1,Z1c2,Z1c3,Z1c4……Z1cn;它们在章节中的个数为:Z1n1,Z1n2,Z1n3……Z1nm;
章节2中出现的字为:Z2c1,Z2c2,Z2c3,Z2c4……Z2cn;它们在章节中的个数为:Z2n1,Z2n2,Z2n3……Z2nm;
其中,Z1c1和Z2c1表示两个文本中同一个字,Z1n1和Z2n1是它们分别对应的个数,
最后我们的相似度可以这么计算:
程序实现如下:(若有可优化或更好的实现请不吝赐教)
01 | public class CosineSimilarAlgorithm { |
02 | public static double getSimilarity(String doc1, String doc2) { |
03 | if (doc1 != null && doc1.trim().length() > 0 && doc2 != null |
04 | && doc2.trim().length() > 0 ) { |
06 | Map<Integer, int []> AlgorithmMap = new HashMap<Integer, int []>(); |
09 | for ( int i = 0 ; i < doc1.length(); i++) { |
10 | char d1 = doc1.charAt(i); |
12 | int charIndex = getGB2312Id(d1); |
14 | int [] fq = AlgorithmMap.get(charIndex); |
15 | if (fq != null && fq.length == 2 ){ |
21 | AlgorithmMap.put(charIndex, fq); |
27 | for ( int i = 0 ; i < doc2.length(); i++) { |
28 | char d2 = doc2.charAt(i); |
30 | int charIndex = getGB2312Id(d2); |
32 | int [] fq = AlgorithmMap.get(charIndex); |
33 | if (fq != null && fq.length == 2 ){ |
39 | AlgorithmMap.put(charIndex, fq); |
45 | Iterator<Integer> iterator = AlgorithmMap.keySet().iterator(); |
48 | double denominator = 0 ; |
49 | while (iterator.hasNext()){ |
50 | int [] c = AlgorithmMap.get(iterator.next()); |
51 | denominator += c[ 0 ]*c[ 1 ]; |
56 | return denominator / Math.sqrt(sqdoc1*sqdoc2); |
58 | throw new NullPointerException( |
59 | " the Document is null or have not cahrs!!" ); |
63 | public static boolean isHanZi( char ch) { |
65 | return (ch >= 0x4E00 && ch <= 0x9FA5 ); |
70 | * 根据输入的Unicode字符,获取它的GB2312编码或者ascii编码, |
73 | * 输入的GB2312中文字符或者ASCII字符(128个) |
74 | * @return ch在GB2312中的位置,-1表示该字符不认识 |
76 | public static short getGB2312Id( char ch) { |
78 | byte [] buffer = Character.toString(ch).getBytes( "GB2312" ); |
79 | if (buffer.length != 2 ) { |
83 | int b0 = ( int ) (buffer[ 0 ] & 0x0FF ) - 161 ; |
84 | int b1 = ( int ) (buffer[ 1 ] & 0x0FF ) - 161 ; |
85 | return ( short ) (b0 * 94 + b1); |
86 | } catch (UnsupportedEncodingException e) { |
程序中做了两小的改进,以加快效率:
1. 只将汉字作为向量,其他的如标点,数字等符号不处理;2. 在HashMap中存放汉字和其在文本中对于的个数时,先将单个汉字通过GB2312编码转换成数字,再存放。
最后写了个测试,根据两种不同的算法对比下时间,下面是测试结果:
余弦定理算法:doc1 与 doc2 相似度为:0.9954971, 耗时:22mm
距离编辑算法:doc1 与 doc2 相似度为:0.99425095, 耗时:322mm
可见效率有明显提高,算法复杂度大致为:document1.length + document2.length。
原创blog,转载请注明http://my.oschina.net/BreathL/blog/42477