NLPIR/ICTCLAS中文分词系统 java相关api文档总结

最新推荐文章于 2019-04-06 17:09:12 发布
最新推荐文章于 2019-04-06 17:09:12 发布
阅读量3.5k 收藏 2
点赞数 2
分类专栏： NLPIR/ICTCLAS 文章标签： NLPIRICTCLAS 中文分词 文档api

这篇文档内容主要从官方文档中获取而来，对API进行了翻译，并依据个人使用经验进行了一些补充，鉴于能力有限、水平较低，文档中肯定存在有很多不足之处，还请见谅。

下载地址：http://ictclas.nlpir.org/downloads，下载最新的NLPIR/ICTCLAS2014分词系统下载包

NLPIR是用C/C++编写的，如果要用JAVA来使用NLPIR，需要通过JNA调用NLPIR的函数来实现。下面通过一个示例来进行说明：

首先新建一个JAVA项目，导入JNA的jar包（可从下载包中的sample\JnaTest_NLPIR\lib文件夹中拷贝），将下载包中的Data文件夹拷贝到项目根目录中，再将lib文件夹中与你操作系统对应的文件夹中的NLPIR.dll和NLPIR.lib文件拷贝到系统根目录中，不妨新建一个名为source的文件夹，放到那里面去。我的目录如下图所示：

然后新建一个接口，继承JNA的Library接口，在接口中定义对NLPIR一系列函数的实现（具体API可参见下方我翻译的API或参看include文件夹中的头文件NLPIR.h）。

复制代码 
import com.sun.jna.Library;

public interface CLibrary extends Library{

    //初始化
    public int NLPIR_Init(String sDataPath, int encoding, String sLicenceCode);
    //对字符串进行分词
    public String NLPIR_ParagraphProcess(String sSrc, int bPOSTagged);
    //对TXT文件内容进行分词
    public double NLPIR_FileProcess(String sSourceFilename,String sResultFilename, int bPOStagged);
    //从字符串中提取关键词 
    public String NLPIR_GetKeyWords(String sLine, int nMaxKeyLimit,boolean bWeightOut);
    //从TXT文件中提取关键词 
    public String NLPIR_GetFileKeyWords(String sLine, int nMaxKeyLimit,boolean bWeightOut);
    //添加单条用户词典
    public int NLPIR_AddUserWord(String sWord);
    //删除单条用户词典
    public int NLPIR_DelUsrWord(String sWord);
    //从TXT文件中导入用户词典
    public int NLPIR_ImportUserDict(String sFilename);
    //将用户词典保存至硬盘
    public int NLPIR_SaveTheUsrDic();
    //从字符串中获取新词
    public String NLPIR_GetNewWords(String sLine, int nMaxKeyLimit, boolean bWeightOut);
    //从TXT文件中获取新词
    public String NLPIR_GetFileNewWords(String sTextFile,int nMaxKeyLimit, boolean bWeightOut);
    //获取一个字符串的指纹值
    public long NLPIR_FingerPrint(String sLine);
    //设置要使用的POS map
    public int NLPIR_SetPOSmap(int nPOSmap);
    //获取报错日志
    public String NLPIR_GetLastErrorMsg();
    //退出
    public void NLPIR_Exit();    
}
复制代码

 

再新建一个类，实例化上面的接口后，就可以调用NLPIR的各个函数了。

复制代码 
import java.math.BigDecimal;
import wordSegmentation.study.CLibrary;
import com.sun.jna.Native;

public class Demo {

    
    public static void main(String[] args) throws Exception {
        //初始化
        CLibrary instance = (CLibrary)Native.loadLibrary(System.getProperty("user.dir")+"\\source\\NLPIR", CLibrary.class);
        int init_flag = instance.NLPIR_Init("", 1, "0");
        String resultString = null;
        if (0 == init_flag) {
            resultString = instance.NLPIR_GetLastErrorMsg();
            System.err.println("初始化失败！\n"+resultString);
            return;
        }
                
        String sInput = "哎~那个金刚圈尺寸太差，前重后轻，左宽右窄，他戴上去很不舒服，"
                + "整晚失眠会连累我嘛，他虽然是只猴子，但你也不能这样对他啊，官府知道会说我虐待动物的，"
                + "说起那个金刚圈，啊~去年我在陈家村认识了一个铁匠，他手工精美，价钱又公道，童叟无欺，"
                + "干脆我介绍你再定做一个吧！";

        try {
            resultString = instance.NLPIR_ParagraphProcess(sInput, 1);
            System.out.println("分词结果为：\n " + resultString);
            
            instance.NLPIR_AddUserWord("金刚圈");
            instance.NLPIR_AddUserWord("左宽右窄");
            resultString = instance.NLPIR_ParagraphProcess(sInput, 1);
            System.out.println("增加用户词典后分词结果为：\n" + resultString);
            
            instance.NLPIR_DelUsrWord("左宽右窄");
            resultString = instance.NLPIR_ParagraphProcess(sInput, 1);
            System.out.println("删除用户词典后分词结果为：\n" + resultString);
            
            instance.NLPIR_ImportUserDict(System.getProperty("user.dir")+"\\source\\userdic.txt");
            resultString = instance.NLPIR_ParagraphProcess(sInput, 1);
            System.out.println("导入用户词典文件后分词结果为：\n" + resultString);
            
            resultString = instance.NLPIR_GetKeyWords(sInput,10,false);
            System.out.println("从段落中提取的关键词：\n" + resultString);
            
            resultString = instance.NLPIR_GetNewWords(sInput, 10, false);
            System.out.println("新词提取结果为：\n" + resultString);
            
            Double d = instance.NLPIR_FileProcess("d:\\1.txt", "d:\\2.txt", 1);
            
            System.out.println("对文件内容进行分词的运行速度为： " );
            if(d.isInfinite())
                System.out.println("无结果");
            else{
                BigDecimal b = new BigDecimal(d);
                System.out.println(b.divide(new BigDecimal(1000), 2, BigDecimal.ROUND_HALF_UP)+"秒");                
            }
            resultString = instance.NLPIR_GetFileKeyWords("D:\\3.txt", 10,false);
            System.out.println("从文件中提取关键词的结果为：\n" + resultString);            
            
            instance.NLPIR_Exit();

        } catch (Exception e) {
            System.out.println("错误信息：");
            e.printStackTrace();
        }

    }
复制代码

其中我在source文件夹中添加了一个用户词典userdic.txt，在程序运行时导入到系统中，该文件内容如下：

前重后轻 nr

 

对TXT文件进行分词处理时需要用到的3个TXT文件，分别如下所示：

1.txt作为从文件内容进行分词操作的文件源，其内容如下：

曾经有一份真挚的感情摆在我的面前我没有珍惜，等我失去的时候才追悔莫及，人间最痛苦的事莫过于此，你的剑在我的咽喉上刺下去吧，不用在犹豫了！如果上天能给我一次再来一次的机会，我会对哪个女孩说三个字：我爱你，如果非要在这份爱上加一个期限，我希望是一万年！

2.txt作为对1.txt进行分词处理的结果接收文件，为一个空文件，运行后其内容如下：

曾经/d 有/vyou 一/m 份/q 真挚/a 的/ude1 感情/n 摆/v 在/p 我/rr 的/ude1 面前/f 我/rr 没有/d 珍惜/v ，/wd 等/udeng 我/rr 失去/v 的/ude1 时候/n 才/d 追悔莫及/vl ，/wd 人间/n 最/d 痛苦/a 的/ude1 事/n 莫过于/vl 此/rzs ，/wd 你/rr 的/ude1 剑/n 在/p 我/rr 的/ude1 咽喉/n 上/f 刺/v 下去/vf 吧/y ，/wd 不/d 用/v 在/p 犹豫/a 了/y ！/wt 如果/c 上/f 天/qt 能/v 给/p 我/rr 一/m 次/qv 再/d 来/vf 一/m 次/qv 的/ude1 机会/n ，/wd 我/rr 会/v 对/p 哪个/ry 女孩/n 说/v 三/m 个/q 字/n ：/wp 我/rr 爱/v 你/rr ，/wd 如果/c 非/b 要/v 在/p 这/rzv 份/q 爱上/v 加/v 一个/mq 期限/n ，/wd 我/rr 希望/v 是/vshi 一/m 万/m 年/qt ！/wt

3.txt作为从内容提取关键词的文件源，其内容如下：

你把胡子剃光干什么？你不知不知道你少了胡子一点性格都没有了……唉~文也不行武也不行，你不做山贼，你想做状元啊？省省吧你！改变什么形象，好好的做你山贼这份很有前途的职业去吧！

 

程序运行结果如下：

分词结果为：
哎/e ~/w 那个/rz 金刚/n 圈/qv 尺寸/n 太/d 差/a ，/wd 前重后轻/nr ，/wd 左宽/nr 右/f 窄/a ，/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d
舒服/a ，/wd 整/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ，/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ，/wd 但/c 你/rr 也/d 不/d 能/v
这样/rzv 对/p 他/rr 啊/y ，/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ，/wd 说/v 起/vf 那个/rz 金刚/n 圈/qv ，/wd
啊/y ~/w 去年/t 我/rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ，/wd 他/rr 手工/d 精美/a ，/wd 价钱/n 又/d 公道/a ，/wd 童叟无欺
/vl ，/wd 干脆/d 我/rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y ！/wt 
增加用户词典后分词结果为：
哎/e ~/w 那个/rz 金刚圈/n 尺寸/n 太/d 差/a ，/wd 前重后轻/nr ，/wd 左宽右窄/n ，/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d 舒服/a ，/wd 整
/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ，/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ，/wd 但/c 你/rr 也/d 不/d 能/v 这样/rzv 对/p 
他/rr 啊/y ，/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ，/wd 说/v 起/vf 那个/rz 金刚圈/n ，/wd 啊/y ~/w 去年/t 我/
rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ，/wd 他/rr 手工/d 精美/a ，/wd 价钱/n 又/d 公道/a ，/wd 童叟无欺/vl ，/wd 干脆/d 我/
rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y ！/wt 
删除用户词典后分词结果为：
哎/e ~/w 那个/rz 金刚圈/n 尺寸/n 太/d 差/a ，/wd 前重后轻/nr ，/wd 左宽/nr 右/f 窄/a ，/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d 舒服/a
，/wd 整/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ，/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ，/wd 但/c 你/rr 也/d 不/d 能/v 这样/r
zv 对/p 他/rr 啊/y ，/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ，/wd 说/v 起/vf 那个/rz 金刚圈/n ，/wd 啊/y ~/w 
去年/t 我/rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ，/wd 他/rr 手工/d 精美/a ，/wd 价钱/n 又/d 公道/a ，/wd 童叟无欺/vl ，/wd 
干脆/d 我/rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y ！/wt 
导入用户词典文件后分词结果为：
哎/e ~/w 那个/rz 金刚圈/n 尺寸/n 太/d 差/a ，/wd 前重后轻/nr ，/wd 左宽/nr 右/f 窄/a ，/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d 舒服/a
，/wd 整/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ，/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ，/wd 但/c 你/rr 也/d 不/d 能/v 这样/r
zv 对/p 他/rr 啊/y ，/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ，/wd 说/v 起/vf 那个/rz 金刚圈/n ，/wd 啊/y ~/w 
去年/t 我/rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ，/wd 他/rr 手工/d 精美/a ，/wd 价钱/n 又/d 公道/a ，/wd 童叟无欺/vl ，/wd 
干脆/d 我/rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y ！/wt 
从段落中提取的关键词：
前重后轻#陈家村#左宽#金刚圈#
新词提取结果为：

对文件内容进行分词的运行速度为： 
0.76秒
从文件中提取关键词的结果为：
胡子#形象#职业#前途#

分词后每个词后面都跟着词性标记（bPOSTagged参数为1时，输出结果显示标记；为0时，不现实标记），并彼此以空格分隔；提取的关键词则以#号分隔；因输入的文字没有新词，均能被识别，所以新词提取结果为空。各函数的具体使用可参考下面我翻译的API。

我对NLPIR系统的接口函数说明进行了简单的翻译，如下所示：

1. NLPIR_Init

初始化分析器，并根据配置文件为NLPIR准备数据。

函数形式：

bool NLPIR_Init(const char* sInitDirPath=0, int encoding=GBK_CODE,

const char* sLicenceCode=0)

需要的头文件：<NLPIR.h>

返回值：

如果初始化成功，返回successed，否则返回false。

参数：

char* sInitDirPath:指定存放配置文件Configure.xml和Data文件的路径，默认值为0，表明路径为当前工作目录。

int encoding: 编码格式标识符，默认为GBK_CODE ，也可以设置为UTF8_CODE和BIG5_CODE。

char*  sLicenceCode: 商业用户需要使用的许可证编码，免费用户无需使用该参数。

说明：

使用NLPIR时必须先执行NLPIR_Init函数（只需执行一次）。系统关闭时还应执行NLPIR_Exit函数来销毁缓存数据。

NLPIR_Init执行失败通常有两个原因：1. 需要的数据文件格式不兼容或丢失；2.配置文件丢失或存在非法参数。还可以通过日志文件来了解更多信息，日志文件存放在默认路径中。

2. NLPIR_Exit

退出程序并释放所有资源和NLPIR使用的缓存数据。

函数形式：

bool NLPIR_Exit();

需要的头文件：<NLPIR.h>

返回值：

执行成功返回successed，否则返回false。

参数：

无

说明：

该函数必须在关闭系统时执行，若需重启NLPIR，再次执行NLPIR_Init函数即可。

3. NLPIR_ImportUserDict

从文件中导入用户自定义的词典。

函数形式：

unsigned int NLPIR_ImportUserDict(const char * sFilename);

需要的头文件：<NLPIR.h>

返回值：

导入的词汇数量。

参数：

char * sFilename: 要导入的用户词典文件所在路径。

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用。词典文件的格式请参见相关示例。

你只需在更改了用户词典或第一次使用某个词典时执行该函数，当配置文件中的UserDict参数为on时，NLPIR将会（把该词典添加到配置文件中）并在启动时自动加载该词典。当将UserDict置为off时，用户自定义词典文件将不再自动导入。

4. NLPIR_ParagraphProcess

处理一个段落文字，返回运行结果缓存的指针。

函数形式：

const char * NLPIR_ParagraphProcess(const char * sParagraph, int bPOStagged=1);

需要的头文件：<NLPIR.h>

返回值：

运行结果缓存的指针。

参数：

char * sParagraph: 输入段落的源

int bPOStagged:  判断是否需要位置标记，0：无标记；1：有标记。默认值为1。

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

5. NLPIR_ParagraphProcessA

函数形式：

result_t * NLPIR_ParagraphProcessA(

const char * sParagraph, int * pResultCount, bool bUserDict=true)

需要的头文件：<NLPIR.h>

返回值：

运行结果向量的指针，该指针由系统进行管理，用户无法对它进行分配和释放。

其结构如下：

struct result_t{

int start; //start position,词语在输入句子中的开始位置

int length; //length,词语的长度

char sPOS[POS_SIZE];//word type，词性ID值，可以快速的获取词性表

int  iPOS;//词性

int word_ID; //如果是未登录词，设成或者-1

int word_type; //区分用户词典;1，是用户词典中的词；，非用户词典中的词

int weight;// word weight

};

参数：

char * sParagraph: 输入段落的源

int * pResultCount: 结果向量的大小

bool bUserDict:是否使用用户词典

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

6. NLPIR_FileProcess

处理一个TXT文件。

函数形式：

Double NLPIR_FileProcess(const char * sSourceFilename,

const char * sResultFilename, int bPOStagged=1);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回处理速度值，否则返回false。

参数：

char * sSourceFilename: 要处理的源文件名称；

char * sResultFilename: 存储处理结果的文件名称；

int bPOStagged:  判断是否需要位置标记，0：无标记；1：有标记。默认值为1。说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

处理结果的输出格式可在配置文件中进行设置。

7. NLPIR_GetParagraphProcessAWordCount

NLPIR_ParagraphProcessA函数的C#实现API。

函数形式：

int NLPIR_GetParagraphProcessAWordCount(const char *sParagraph);

需要的头文件：<NLPIR.h>

返回值：

返回输入段落的词汇数量。

参数：

char * sParagraph: 输入段落的源

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

处理结果的输出格式可在配置文件中进行设置。

8. NLPIR_ ParagraphProcessAW

NLPIR_ParagraphProcessA函数的C#实现API。

函数形式：

void NLPIR_ParagraphProcessAW(int nCount,result_t * result);

需要的头文件：<NLPIR.h>

返回值：

无。

参数：

nCount: 输入段落的词汇数量；

result: 处理结果的结构体指针；

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

处理结果的输出格式可在配置文件中进行设置。

9. NLPIR_AddUserWord

向用户词典添加一个词汇。

函数形式：

int NLPIR_AddUserWord(const char * sWord);

需要的头文件：<NLPIR.h>

返回值：

如果添加成功，返回successed，否则返回false。

参数：

char * sWord:要添加的词汇。

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

10. NLPIR_SaveTheUsrDic

将用户词典保存至硬盘。

函数形式：

int NLPIR_SaveTheUsrDic();

需要的头文件：<NLPIR.h>

返回值：

如果执行成功返回1，否则返回0。

参数：

无

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

11. NLPIR_DelUsrWord

从用户词典中删除一个词汇。

函数形式：

int NLPIR_DelUsrWord(const char * sWord);

需要的头文件：<NLPIR.h>

返回值：

如果要删除的词汇不存在，则返回-1；如果删除成功，则返回该词汇的句柄。

参数：

char * sWord:要删除的词汇。

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

12. NLPIR_GetKeyWords

从输入的段落中提取关键词。

函数形式：

const char * NLPIR_GetKeyWords(const char * sLine,int nMaxKeyLimit=50,

bool bWeightOut=false);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回执行结果列表。如果执行失败，返回NULL。

格式如下：

"科学发展观 宏观经济 "

或者

"科学发展观 23.80 宏观经济 12.20" （带有权值）

参数：

char * sLine:输入的段落；

int nMaxKeyLimit:关键词最大数量；

bool bWeightOut: 是否输出权值；

说明：

无。

 13. NLPIR_GetFileKeyWords

从TXT文件中提取关键词。

函数形式：

const char * NLPIR_GetFileKeyWords(const char * sTextFile,

int nMaxKeyLimit=50, bool bWeightOut=false);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回执行结果列表。如果执行失败，返回NULL。格式同上。

参数：

char * sTextFile:输入文件的名称；

int nMaxKeyLimit:关键词最大数量；

bool bWeightOut: 是否输出权值；

说明：

无

14. NLPIR_GetNewWords

从段落中提取新词。

函数形式：

const char * NLPIR_GetNewWords(const char * sLine, int nMaxKeyLimit=50,

bool bWeightOut=false);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回提取到的新词列表，否则返回NULL。格式同上

参数：

char * sLine:输入的段落；

int nMaxKeyLimit:关键词最大数量；

bool bWeightOut: 是否输出权值；

说明：

无

15. NLPIR_GetFileNewWords

从TXT文件中提取新词。

函数形式：

const char * NLPIR_GetFileNewWords(const char * sTextFile,

int nMaxKeyLimit=50, bool bWeightOut=false);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回提取到的新词列表，否则返回NULL。格式同上

参数：

char * sTextFile:输入文件的名称；

int nMaxKeyLimit:关键词最大数量；

bool bWeightOut: 是否输出权值；

说明：

无

16. NLPIR_FingerPrint

提取段落的一个指纹。

函数形式：

unsigned long NLPIR_FingerPrint(const char * sLine);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回指纹值，否则返回0。

参数：

char * sLine:输入的段落；

说明：

无。

17. NLPIR_SetPOSmap

设置使用的POS map。

函数形式：

int NLPIR_SetPOSmap(int nPOSmap);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回1，否则返回0。

参数：

int nPOSmap :  

ICT_POS_MAP_FIRST  计算所一级标注集

ICT_POS_MAP_SECOND  计算所二级标注集

PKU_POS_MAP_SECOND  北大二级标注集

PKU_POS_MAP_FIRST    北大一级标注集

说明：

该函数只有在NLPIR_Init函数执行成功后才能使用

 

 

18. NLPIR_GetLastErrorMsg

获取最近一条报错信息。

函数形式：

const char * NLPIR_GetLastErrorMsg();

需要的头文件：<NLPIR.h>

返回值：

获取最近一条报错信息的指针。

参数：

无。

说明：

无。

以下为新词识别函数，建议脱机使用。

1. NLPIR_NWI_Start

启动新词识别。

函数形式：

bool NLPIR_NWI_Start();

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回successed，否则返回false。

参数：

无

2. NLPIR_NWI_AddFile

往新词识别系统中添加待识别新词的文本文件，需要在运行 NLPIR_NWI_Start()之后，才有效。

函数形式：

Int NLPIR_NWI_AddFile(const char * sFilename);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回true，否则返回false。

参数：

char *sFilename：输入的文件名；

3. NLPIR_NWI_AddMem

往新词识别系统中添加一段待识别新词的内存，需要在运行 NLPIR_NWI_Start()之后，才有效。

函数形式：

bool NLPIR_NWI_AddMem(const char *sText);

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回true，否则返回false。

参数：

char *sFilename：文件名

4. NLPIR_NWI_Complete

新词识别添加内容结束，需要在运行 NLPIR_NWI_Start()之后，才有效。

函数形式：

bool NLPIR_NWI_Complete();

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回true，否则返回false。

参数：

无。

说明：

5. NLPIR_NWI_GetResult

获取新词识别的结果。

函数形式：

const char * NLPIR_NWI_GetResult(bool bWeightOut=false);

需要的头文件：<NLPIR.h>

返回值：

执行结果的列表。

参数：

bool bWeightOut：是否输出权重值。

 

6. NLPIR_NWI_Result2UserDict

将新词识别结果导入到用户词典中，需要在运行 NLPIR_NWI_Complete()之后，才有效，如果需要将新词结果永久保存，建议在执行NLPIR_SaveTheUsrDic函数。

函数形式：

unsigned int NLPIR_NWI_Result2UserDict()

需要的头文件：<NLPIR.h>

返回值：

如果执行成功，返回true，否则返回false。

参数：

无。

月色无痕
关注
专栏目录
《自然语言处理实战入门》第三章 ：中文分词原理及相关组件简介 ---- 汉语分词领域主要分词算法、组件、服务(上)
shiter编写程序的艺术
07-24 2212
基于词典的分词方法，有诸多限制，不能完成新词识别分割的问题，目前学界，工业界基本都采用基于统计的方法进行汉语分词。本文我们分别就目前业界使用频率最高的一些分词组件依次介绍。
python语义分析_NLPIR语义分析系统——文本分析利器
weixin_39769703的博客
11-26 1600
前几天，公司的几个华科的实习生他们做文本挖掘的项目，说啥Word2vec啥的，好像是做文本分析、分词啥的吧。今天无意间在网上发现了这个好东西：语意分析系统，可以快速对文本进行分析。简介NLPIR是一套专门针对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。NLPIR分词系统前身为2000年发布的ICTCL...
nlpir汉语分词系统
07-19
nlpir 汉语分词系统（使用java封装整理） 可实现词频，词性，分词、情感预判、聚类授权等大数据相关算法。
中科院分词系统(NLPIR)JAVA简易教程(2014-11-12)
weixin_30741653的博客
11-12 420
（第一版，创建时间2014-11-12） 这篇文档内容主要从官方文档中获取而来，对API进行了翻译，并依据个人使用经验进行了一些补充，鉴于能力有限、水平较低，文档中肯定存在有很多不足之处，还请见谅。 下载地址：http://ictclas.nlpir.org/downloads，下载最新的NLPIR/ICTCLAS2014分词系统下载包 NLPIR是用C/C++编写的，如果要用JAVA...
使用NLPIR汉语分词系统进行分词
wanna_wsl的博客
08-07 9798
今天尝试了用张华平博士打造的汉语分词系统进行分词测试，遇到了一些问题，最终还是分词成功，首先感谢NLPIR提供的源码及资料，现将使用过程中遇到的问题及解决方法分享出来，仅供参考。 NLPIR提供了多种开发接口，包括c，c#，java，python等，可用于windows和linux平台。本次使用的语言为Java，平台为windows10 一、下载源码及资料 可以去官网下载最新的源码及开发文档
NLPIR分词系统（ICTCLAS 2013）在VS 2013中使用
BCD_not_CBD的博客
07-13 1206
NLPIR汉语分词系统(又名ICTCLAS 2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。 0.官方网站http://ictclas.nlpir.org/。注意：非商用版本每个月需要更新License，更新License地址为https://github.com/NLPIR-team/NLPIR，目录../NLPIR/Lice
NLPIR分词系统的使用
lucky_xinyeol的博客
03-06 3375
前身是2000年发布的ICTCLAS，2009年更为现名。张华平博士打造。 Java课设做自动问答系统，用到了，所以记录一下使用方法，网上方法可能有点老，所以自己发现没有那么复杂。 https://github.com/NLPIR-team/NLPIR 上下载源码，结构如下： 特别注意，NLPIR分词系统中的证书，每一个月需更新一次。每个工程中的Data文件基本都是过期的，运行时，需用Li...
在eclipse中使用NLPIR（ICTCLAS）2013进行分词
小贤的博客
04-07 915
1、在官网上下载最新的工具包 官网地址为：http://ictclas.nlpir.org/newsdownloads?DocId=389 下载解压后结构如下： 树状结构如下： | Readme.txt-------------------------->介绍 | +---bin | +---DocExtractor----------->...
NLPIR（北理工张华平版中文分词系统）的SDK(C++)调用方法
libotao1997的博客
04-06 543
一、本文内容简介 关于中文分词的基本概念 关于NLPIR(北理工张华平版中文分词系统)的基本情况 具体SDK模块(C++版)的组装方法 二、具体内容 1. 中文分词的基本概念 中文分词是自然语言处理的一个分支,自然语言即人们在日常生活中使用的语言，包含书面语，口语，例如报纸上的一篇通讯，博客里面的一篇文章。之所以称其为自然语言，是因为它区别于计算机语言，计算机语言的文法与组织方式较为规范，自...
使用ICTCLAS2015进行分词
远航 | FIBOS.io
03-24 7423
使用ICTCLAS2015进行分词 在今年的Imagine Cup中使用到了语义分析的部分，其中需要分词作为基础，我是用的是中科院的ICTCLA2015，本篇博客我来讲讲如何使用ICTCLAS2015进行分词 ICTCLAS2015简介中文词法分析是中文信息处理的基础与关键。中国科学院计算技术研究所在多年研究工作积累的基础上，研制出了汉语词法分析系统ICTCLAS(Institute of Co
NLPIR-ICTCLAS分词系统开发手册2016版
09-10
词法分析是自然语言处理的基础与关键。张华平博士在多年研究工作积累的 基础上，研制出了NLPIR分词系统，主要功能包括中文分词；英文分词；词性标 注；命名实体识别；新词识别；关键词提取；支持用户专业词典与微博分析。NLPIR 系统支持多种编码（GBK编码、UTF8编码、BIG5编码）、多种操作系统（Windows, Linux ， FreeBSD 等所有主流操作系统）、多种开发语言与平台（包括： C/C++/C#,Java,Python,Hadoop 等）。
分词器NLPIR
01-21
目前NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；张华平博士先后倾力打造十余年，内核升级10次。国内国际排名均为第一。 项目已经配置好环境，导入Eclipse即可使用，文件内src下的TestUTF8.java可以直接运行，提供了分词接口
NLPIR分词工具
06-12
NLPIR的分词工具
中科院NLPIR最新版分词（2018.10）系统加入用户词典和去除停用词的完整代码
10-24
在最新版的中科分词系统基础上，进行了改进，加入用户词典和停用词，并进行文件无乱码读写，输出分词结果，效果不错，是情感分析的良好基础。这一部分，我用来写作为硕士论文的数据处理基础。在此分享给各位，欢迎指教
NLPIR分词使用说明
yuhushangwei的专栏
12-27 3397
NLPIR系统授权，基本上1个月要授权一次，在这里替换Data/NLPIR.user即可给出一个分词的使用实例： 1：上官网下载分词工具包2：随便新建一个Java工程；3：把jna.jar放到classpath下面，在eclipse中就是普通的手动添加jar包4：新建或者直接把Data文件夹添加到工程中；5：添加跟自己系统匹配的NLPIR.dll和NLPIR.lib文件，如果是maven工程放到r
关于使用NLPIR-ICTCLAS分词系统
u013219964的博客
02-01 1902
在网络上看了几篇关于使用NLPIR-ICTCLAS20xx分词系统文章         首先，在官网（http://ictclas.nlpir.org/）下载源码，打开提取文件及文件夹（data，NLPIR.dll，NLPIR.h，NLPIR.lib）到新建工程目录下，然后在工程里面编写以下代码 #include "NLPIR.h" #pragma comment(lib, "NLPIR.
NLPIR 汉语分词系统 (PyNLPIR) 学习手札
热门推荐
MebiuW的专栏
08-17 2万+
1 关于NLPIR最近在做一些NLP相关的任务，其中一个关键的子任务就是如何对汉语进行分词？关于分词的方式，有很多很多，也是很多学习者的练手任务（比如我们当时的期末作业就有这个）。但是，轮子还是要搬来用，自己写的分词只能说是去了解这个方式（了解某个算法），做出来的都是能看不能用，毕竟模型、算法、语料库等一座座大山等着我们攻克。所以，我找了一些资料，看到一个不错的教程，他用了NLPIR，所以我也跟着使
NLPIR汉语分词系统
chuangquehua9049的博客
05-15 943
灵玖软件：www.lingjoin.com 应各位ICTCLAS用户的要求，张华平博士正式发布ICTCLAS2013 版本，为了与以前工作进行大的区隔，并推广NLPIR自然语言处理与信息检索共享平台，从本版本开始，系统名称调整为NLPIR汉语分词系统。张博士先后倾力打造十余年，内...
NLPIR分词教程 Scala版
maplejaw的博客
02-08 2037
本文原版为中科院分词系统(NLPIR)JAVA简易教程,由于个人需要，将其修改为Scala版本，供有需求者参考。其中工程结构基于IDEA，目录如下： 将原文CLibrary.java修改为CLibrary.scala，源码如下：import com.sun.jna.{Library, Native}/** * Created by maplejaw on 2017/2/8. */ tra
NLPIR/ICTCLAS2016分词系统开发文档概述
"NLPIR/ICTCLAS2016分词系统开发文档" 这篇文档是关于NLPIR/ICTCLAS2016分词系统的开发指南，由Kevin Zhang（张华平博士）编写。NLPIR（Natural Language Processing and Information Retrieval，自然语言处理与...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值