ik 和hanlp_自然语言处理之分词器ansj和hanlp介绍

1.ansj

ansj是ictclas(中科院分词)的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化

内存中中文分词每秒钟大约100万字(速度上已经超越ictclas)

文件读取分词每秒钟大约30万字

准确率能达到96%以上

目前实现了: 1.中文分词 2.中文姓名识别 3.用户自定义词典

可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.

入门sample

public static void main(String[] agrs){

String text = "我要碎觉超级困";

//未定义词典分词

System.out.println(ToAnalysis.parse(text));

//自定义词典 参数依次为:自定义词,词性,词频(值越大，重要度越高)

UserDefineLibrary.insertWord("碎觉", "n", 1000);

//定义词典后，分词

System.out.println(ToAnalysis.parse(text));

}

2.hanlp

hanlp由一系列模型与算法组成的Java工具包，目标是促进自然语言处理在生产环境中的应用。

HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

和ansj相比，hanlp在功能上的扩展主要体现在以下几个方面:

•关键词提取

•自动摘要

•短语提取

•拼音转换

•简繁转换

•文本推荐

词语推荐部分的sample&#x