关于Lucene.net中文分词后的结果着色问题

 

近日工作中有一个项目使用到了Lucene.net，在工作中发现了一个问题，就是如果采用Lucene自带的分词器是对关键字按字来进行拆分的，这样搜索到的结果肯定不符合我们的要求。后来在网上找了一个中文分词工具，就是车东老师写的CJK分词器，可当采用CJK二元分词法以后，却发现一个问题，搜索到的结果是对的，但着色是错误的，比如我们对如下文本进行搜索

我是一个中国人，我是一个伟大的中国人

当采用关键字伟大进行搜索的时候

会着色成这样

我是一个中国人，<span class=/"keyword/">我是一个伟大的中国人</span>

而我们需要的当然是

我是一个中国人，我是一个<span class=/"keyword/">伟大</span>的中国人

刚开始还以为是Lucene.net不支持中文着色的问题，后来在Lucene.net的开源网站上下载了一个3.0的版本，跟踪进去后，发现仍然没有解决这个问题，这个问题的原因出在Highlighter.Net_Source这个类库中的TokenGroup类有一个IsDistinct方法,这个方法只有一句代码 return (token.StartOffset() >= this.endOffset); 由于英文是通过空格来区分每个词的，所以token.StartOffset()是会出现大于等于his.endOffset的情况的，但中文是不通过空格来分隔的，这样就只有再Lucene遇到，。；等分隔符的时候，它才会判断为一段词结束，原因找到了以后，就开始想一下解决办法了，没有想的什么太好的办法，最后采用的是中文虽然没有分隔符，但不妨碍我们自己增加分隔符号，可以找到每个关键字的索引，然后再对应关键字头尾增加分隔符，这样就解决了这个问题，当然最好的办法还是直接重写Highlighter类库，加入对中文日文韩文这种文字型语言的支持，这点希望有加入这个开源项目的朋友反馈一下

附带源代码如下

 

/// <summary> /// 对关键字所在索引比较 /// </summary> /// <param name="str1">关键字索引1</param> /// <param name="str2">关键字索引2</param> /// <returns>相等返回0，关键字索引1大则返回1，否则返回-1</returns> private int CompareStrIndex(string str1, string str2) { if (string.IsNullOrEmpty(str1)) { if (string.IsNullOrEmpty(str2)) { return 0; } else { return -1; } } else { if (string.IsNullOrEmpty(str2)) { return 1; } else { int x; int y; string[] str1Arr = str1.Split(','); string[] str2Arr = str2.Split(','); int.TryParse(str1Arr[0], out x); int.TryParse(str2Arr[0], out y); return x.CompareTo(y); } } } /// <summary> /// 给文本增加分隔符 /// </summary> /// <param name="text">需要处理文本</param> /// <param name="KeyWords">关键字</param> /// <returns>处理后的文本</returns> public string AddSeparator(string text,string KeyWords) { if (string.IsNullOrEmpty(text) || string.IsNullOrEmpty(KeyWords)) { return string.Empty; } if (text.Length <= 2) { return text; } string Result = string.Empty; KeyWords = KeyWords.Replace("　"," "); string[] KeyWordArr = KeyWords.Split(new char[1] { ' ' }); List<string> KeyWordList = new List<string>(); //构建2元分隔关键字列表 Char OldChar = char.MinValue; foreach (string KeyWord in KeyWordArr) { foreach (char Chr in KeyWord) { if (OldChar == char.MinValue) { OldChar = Chr; } else { KeyWordList.Add(OldChar.ToString() + Chr.ToString()); OldChar = Chr; } } OldChar = char.MinValue; } //获取关键字在文本中出现的索引并排序 List<string> StartIndexList = new List<string>(); List<string> StartIndexListResult = new List<string>(); foreach (string KeyWord in KeyWordList) { MatchCollection Matches = Regex.Matches(text, KeyWord, RegexOptions.Compiled | RegexOptions.IgnoreCase); foreach (Match NextMatch in Matches) { StartIndexList.Add(NextMatch.Index + "," + (NextMatch.Index + 1)); } } StartIndexList.Sort(CompareStrIndex); //合并重复出现的文本部分 string OldIndex = string.Empty; foreach (string StrIndex in StartIndexList) { if (OldIndex == string.Empty) { OldIndex = StrIndex; } else { string[] OldIndexArr = OldIndex.Split(','); string[] IndexArr = StrIndex.Split(','); if (int.Parse(IndexArr[0]) - int.Parse(OldIndexArr[1]) <= 1) { OldIndex = OldIndexArr[0] + "," + IndexArr[1]; } else { StartIndexListResult.Add(OldIndex); OldIndex = StrIndex; } } } if (OldIndex.Length > 0) { StartIndexListResult.Add(OldIndex); } //插入分隔符 int Increment = 0; Result = text; char Separator = Char.MaxValue; foreach (string ResultIndex in StartIndexListResult) { string[] ResultIndexArr = ResultIndex.Split(','); Result = Result.Insert(int.Parse(ResultIndexArr[0]) + Increment++, Separator.ToString()); Result = Result.Insert(int.Parse(ResultIndexArr[1]) + 1 + Increment++, Separator.ToString()); } return Result; }