一、THULAC
THULAC由《清华大学自然语言处理与社会人文计算实验室》研制推出的一套中文词法分析工具包。
官网地址:http://thulac.thunlp.org,该项目提供了多种语言,本文以java版为例,先下载以下二个组件:
1、THULAC_lite_v1_2分词java版可执行的jar包:THULAC_lite_java_v1_2_run.jar
2、THULAC模型,包括分词模型和词性标注模型(v1_2): Models_v1_v2(v1_2).zip
把THULAC模型解压到与jar文件相同的目录下,默认会生成models目录。
然后创建一个input.txt做为输入,这里选择了一首歌词:
郁可唯-茶汤
词曲:方文山
山岚像茶杯上的云烟
颜色越来越浅
你越走越远
有好多的话还来不及兑现,你就不见
我身后窗外那片梯田
像一段段从前
我站在茶园,抬头望着天,想象你会在山的,那一边
我说再喝一碗我熬的茶汤
你说你现在马上要渡江
渡江到那遥远的寒冷北方
就怕你的手会冻僵
你何时回来喝我熬的茶汤
这次我会多放一些老姜
你寄来的信一直搁在桌上
不知要寄还哪地方
北风它经过多少村落
来来回回绕过
分不清那年,我求天保佑,只见风声大做,却更寂寞
使用方法:
java -jar THULAC_lite_java_v1_2_run.jar -