修改 lucene Highlighter.net 2.0 版本一处Bug

 修改 HighLight.net 2.0 版本一处Bug

作者:肖波
     最近我的博客中有两位网友在使用 KTDictSeg 1.3 + lucene.net 2.0 + HighLighter.net 2.0 是出现问题，高度怀疑是HighLight.net 2.0 版本的Bug，
今天腾出时间把几个组件的源码全部下下来，调试了一把，终于找到了这个Bug，下面把Bug的具体原因和修改后的源码发上来，供大家参考。另外哪位网友
知道如何向 lucene apache 组织 申报Bug，麻烦告知一声，以便我将这个Bug提交给该组织，让它的后续版本可以改进这个错误。

    错误信息：（网友 z86362780 发现）
    异常详细信息: System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。
    参数名: length

    行 131: Lucene.Net.Analysis.KTDictSeg.KTDictSegAnalyzer analyzer = new Lucene.Net.Analysis.KTDictSeg.KTDictSegAnalyzer();
    行 132: TokenStream tokenStream = analyzer.TokenStream("indexcontent", new StringReader(content));
    行 133: myrow[4] = highlighter.GetBestFragment(tokenStream, content); <---这一句报错了
    行 134:
    行 135: mytab.Rows.Add(myrow);

    我调试代码后发现错误出在 Highlighter.cs 这个文件的第263行 GetBestTextFragments 这个函数中,注Highlight.net 的版本号是 2.0.0.001, 下载位置
    原始版本故障部分代码如下:
   

 1                   if  (tokenGroup.numTokens  >   0 )
 2                  {
 3                       // flush the accumulated text (same code as in above loop)
 4                      startOffset  =  tokenGroup.startOffset;
 5                      endOffset  =  tokenGroup.endOffset;
 6                      tokenText  =  text.Substring(startOffset, (endOffset)  -  (startOffset));
 7                      System.String markedUpText  =  formatter.HighlightTerm(encoder.EncodeText(tokenText), tokenGroup);
 8                       // store any whitespace etc from between this and last group
 9                       if  (startOffset  >  lastEndOffset)
10                          newText.Append(encoder.EncodeText(text.Substring(lastEndOffset, (startOffset)  -  (lastEndOffset))));
11                      newText.Append(markedUpText);
12                      lastEndOffset  =  endOffset;
13                  }

错误出在第6行: tokenText = text.Substring(startOffset, (endOffset) - (startOffset));
当endOffset >= text.Length 时就会出现上述错误。这个错误并非每次都会出现，只有在搜索条件和文本信息处于某些特殊情况下才会出现，具体什么情况下会出现这个错误，我没有仔细研究。 出现错误时，通常是endOffset 的值等于 text.Length.

找到错误后，我进行了如下修改：

 1                   if  (tokenGroup.numTokens  >   0 )
 2                  {
 3                       // flush the accumulated text (same code as in above loop)
 4                      startOffset  =  tokenGroup.startOffset;
 5                      endOffset  =  tokenGroup.endOffset;
 6                      
 7                       // The original version did not judged the endOffset < text.Length.
 8                       // It will throw a exception when endOffset >= text.Length sometimes.
 9                       // Xiao Bo fix this bug at 2008-07-09
10                       if  (endOffset  <  text.Length)
11                      {
12                          tokenText  =  text.Substring(startOffset, (endOffset)  -  (startOffset));
13                          System.String markedUpText  =  formatter.HighlightTerm(encoder.EncodeText(tokenText), tokenGroup);
14                           // store any whitespace etc from between this and last group
15                           if  (startOffset  >  lastEndOffset)
16                              newText.Append(encoder.EncodeText(text.Substring(lastEndOffset, (startOffset)  -  (lastEndOffset))));
17                          newText.Append(markedUpText);
18                      }
19                       
20                      lastEndOffset  =  endOffset;
21                  }

修改后再运行，故障排除。

我修改后的版本的完整代码和编译好的库的下载位置 HighLight2.0.0.002-XiaoBo
我将版本号设置为2.0.0.002以便和原始版本的区别，这个只是一个临时版本，等故障上报给 lucene apache 组织 后,
等该组织修改了其正式版本，这个版本就可以退休了。