给Lucene.NET增加中文分词

一、Lucene的.NET版本介绍

到目前为止，Lucene的C#移植有三个版本，最开始是NLucene，然后是Lucene.NET，当Lucene.NET转向商业化之后，SourceForge上又出现了dotLucene项目。

猎兔推出完全使用C#开发的，支持Lucene.NET的中文分词模块。

 

二、调用接口

 

seg.result.CnTokenizer，该类继承Lucene.Net.Analysis.TokenStream。

 

其中环境变量dic.dir指定数据文件路径，如：

"-Ddic.dir=d:/lg/work/SSeg/dic"

 

一个简单的使用例子是：

using System;

using System.Runtime.InteropServices;

using seg.result;

using Lucene.Net.Analysis;

 

namespace ConsoleApplication1

{

/// <summary>

/// Class1 的摘要说明。

/// </summary>

class Class1

{

/// <summary>

/// 应用程序的主入口点。

/// </summary>

[DllImport("Kernel32.DLL", SetLastError=true)]

public static extern bool SetEnvironmentVariable(string lpName, string lpValue);

 

[STAThread]

static void Main(string[] args)

{

SetEnvironmentVariable( "dic.dir", "d:/lg/work/SSeg/dic");

//

// TODO: 在此处添加代码以启动应用程序

//

testCnAnalyzer();

System.Console.Read();

}

 

public static void testCnAnalyzer()

{

System.IO.TextReader input;

 

CnTokenizer.makeTag= true;

string sentence = "邀请王振国今年9月参加在洛杉矶举行的30届美国治癌成就大奖会";

 

input = new System.IO.StringReader(sentence);

TokenStream tokenizer = new seg.result.CnTokenizer(input);

 

for (Token t = tokenizer.Next(); t != null; t = tokenizer.Next())

{

System.Console.WriteLine(t.TermText() + " " + t.StartOffset() + " "

+ t.EndOffset() + " "+t.Type());

}

}

}

}

 

三、输出结果介绍

输出结果中的词性标注代码和分词效果与当前Java版的一样，可以参考向Lucene增加中文分词功能。

 

四、试用版免费下载

点击这里下载免费试用版。

转载于:https://www.cnblogs.com/SUPERAI/archive/2011/11/30/2269569.html