java分词框架_分词工具Hanlp基于感知机的中文分词框架

结构化感知机标注框架是一套利用感知机做序列标注任务，并且应用到中文分词、词性标注与命名实体识别这三个问题的完整在线学习框架，该框架利用1个算法解决3个问题，时自治同意的系统，同时三个任务顺序渐进，构成流水线式的系统。本文先介绍中文分词框架部分内容。

中文分词

训练

只需指定输入语料的路径(单文档时为文件路径，多文档时为文件夹路径，灵活处理)，以及模型保存位置即可：

命令行

java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task CWS -train -reference data/test/pku98/199801.txt -model data/test/perceptron/cws.bin

API

public void testTrain() throws Exception

{

PerceptronTrainer trainer = new CWSTrainer();

PerceptronTrainer.Result result = trainer.train(

"data/test/pku98/199801.txt",

Config.CWS_MODEL_FILE

);

//        System.out.printf("准确率F1:%.2f\n", result.prf[2]);

}

事实上，视语料与任务的不同，迭代数、压缩比和线程数都可以自由调整，以保证最佳结果:

/**

* 训练

*

* @param trainin