自然语言处理的中文分词方法

中文分词方法

平台：win7，python，vs2010

1、CRF++

CRF++是著名的条件随机场开源工具，也是目前综合性能最佳的CRF工具。
一、工具包的下载：
其中有两种，一种是Linux下（带源码）的，一种是win32的，下载
http://download.csdn.net/source/1425683将这两种版本打成一个包了。
二、安装：
a) Windows版的无须安装，直接解压即可使用；
b) Linux版本的安装方法是：
1） 解压到某目录下
2） 打开控制台，将当前目录切换到解压目录
3）依次输入命令：
./configure
make
su
make install
注：需要root权限才能成功安装。
三、训练语料格式：
a) 训练语料至少应具有两列，列间由空格或制表位间隔，且所有行（空行除外）必须具有相同的列数。句子间使用空行间隔。
b) 一些合法的语料示例：
i. 有两列特征的
太 Sd N
短 Sa N
而 Bu N
已 Eu N
。 Sw N

以 Sp N
家 Bn N
乡 En N
的 Su N
ii. 只有一列特征的
太 N
短 N
而 N
已 N
。 N

以 N
家 N
乡 N
的 N
四、特征的选取及模板的编写：
a) 特征选取的行是相对的，列是绝对的，一般选取相对行前后m行，选取n-1列（假设语料总共有n列），特征表示方法为：%x[行,列]，行列的初始位置都为0。例如：
i. 以前面语料为例
“ Sw N
北 Bns B-LOC
京 Mns I-LOC
市 Ens I-LOC
首 Bn N
假设当前行为“京”字这一行，那么特征可以这样选取：
特征模板
意义
代表特征
%x[-2,0]
-2行，0列
“
%x[-1,0]
-1行，0列
北
%x[0,0]
0行，0列
京
%x[1,0]
1行，0列
市
%x[2,0]
2行，0列
首
%x[-2,1]
-2行，1列
Sw
%x[-1,1]
-1行，1列
Bns
%x[0,1]
0行，1列
Mns
%x[1,1]
1行，1列
Ens
%x[2,1]
2行，1列
Sw
%x[-1,0]/%x[0,0]
-1行0列与0行0列的组合
北/京
%x[0,0]/%x[1,0]
0行0列与1行0列的组合
京/市
%x[-2,1]/%x[-1,1]
-2行1列与-1行1列的组合
Sw/ Bns
%x[-1,1]/%x[0,1]
-1行1列与0行1列的组合
Bns/Mns
%x[0,1]/%x[1,1]
0行1列与1行1列的组合
Mns/Ens
%x[1,1]/%x[2,1]
1行1列与2行1列的组合
Ens/Sw
%x[-2,1]/%x[-1,1]/%x[0,1]
-2行1列、-1行1列、0行1列的组合
Sw/Bns/Mns
%x[-1,1]/%x[0,1]/%x[1,1]
-1行1列、0行1列、1行1列的组合
Bns/Mns/Ens
%x[0,1]/%x[1,1]/%x[2,1]
0行1列、1行1列、2行1列的组合
Mns/Ens/Sw
b) 模板制作：模板分为两类：Unigram和Bigram。
其中Unigram/Bigram是指输出token的Unigram/Bigrams，而不是特征。
c) 以前面示例中的特征为特征，制作为Unigram模板如下：

Unigram

U00:%x[-2,0]
U01:%x[-1,0]
U02:%x[0,0]
U03:%x[1,0]
U04:%x[2,0]
U05:%x[-2,1]
U06:%x[-1,1]
U07:%x[0,1]
U08:%x[1,1]
U09:%x[2,1]
U10:%x[-1,0]/%x[0,0]
U11:%x[0,0]/%x[1,0]
U12:%x[-2,1]/%x[-1,1]
U13:%x[-1,1]/%x[0,1]
U14:%x[0,1]/%x[1,1]
U15:%x[1,1]/%x[2,1]
U16:%x[-2,1]/%x[-1,1]/%x[0,1]
U17:%x[-1,1]/%x[0,1]/%x[1,1]
U18:%x[0,1]/%x[1,1]/%x[2,1]
说明：
1） 其中#开头的行不起作为，为注释；
2） 行与行之间可以有空行；
3） Unigram的特征前使用字母U，而Bigram的特征前使用字母B。后面的数字用于区分特征，当然这些数字不是一定要连续。
五、训练方法
a) 语料的训练可以使用命令（在终端或DOS命令行中）：crf_learn <模板> <训练语料> <模板文件>
其中模板和训练语料是需要事先准备好的，模板文件在训练完成后生成
注意：
1) 如果提示语料格式错误，则注意检查语料的存储编码，有些编码CRF++是会读取错误的；
2) 文件路径要正确，如果文件没在当前目录，那么要使用绝对路径。
b) 训练中一些参数的说明：
ter：迭代次数
terr：标记错误率
serr：句字错误率
obj：当前对象的值。当这个值收敛到一个确定值的时候，训练完成
diff：与上一个对象值之间的相对差
六、解码方法
a) 可以使用crf_test -m <模板文件> <测试文件1> <测试文件2> ……。
b) 结果会直接输出到屏幕上面，如果想让结果保存到文件中，那么使用重定向，在上面命令后面加上一个开关“>”即可：crf_test -m <模板文件> <测试文件1> > <保存位置>。例如：crf_test -m model test.txt > result.txt
七、评测工具CoNLL 2000的用法
a) 下载：
i. http://download.csdn.net/source/1425687
ii. http://www.cnts.ua.ac.be/conll2000/chunking/output.html
b) 使用它是用来评分，所以要求crf_test一步使用的测试文件中本身带有答案，这样解码后生成的结果会在答案的后一列。比如原来为：
使 En N
、 Sw N
交 Bni B-ORG
通 Mni I-ORG
部 Eni I-ORG
部 Bn N
那么解码后变成：
使 En N N
、 Sw N N
交 Bni B-ORG B-ORG
通 Mni I-ORG I-ORG
部 Eni I-ORG I-ORG
部 Bn N N
CoNLL 2000将把最后一列与倒数第二列进行对比，统计出最后各类的正确率，召回率、F值等。
c) 使用评测工具前要将评测文件中的所有制表位转换成空格，否则评测工具会出错。
d) 评测命令为：perl conlleval.pl < <评测文件>

2、CRFsuite

python-crfsuite

https://travis-ci.org/tpeng/python-crfsuite.svg?branch=master
python-crfsuite is a python binding to CRFsuite.

Installation

pip install python-crfsuite

可以得到python下的CRFsuite模块
使用的时候直接

import python_crfsuite

3、结巴分词

https://github.com/fxsjy/jieba

“结巴”中文分词：做最好的Python中文分词组件 “Jieba”

支持三种分词模式：

1）精确模式，试图将句子最精确地切开，适合文本分析；
2）全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
3）搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
同样支持繁体分词

支持自定义词典

在线演示
http://jiebademo.ap01.aws.af.cm/

网站代码：https://github.com/fxsjy/jiebademo

Python 2.x 下的安装
全自动安装：easy_install jieba 或者 pip install jieba

通过import jieba 来引用

import jieba

不报错，说明jieba组件安装成功。

结巴采用的算法：
基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)，采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。

4.哈工大ltp平台

官方链接：
http://www.ltp-cloud.com/
具体使用方法可参考官网简介
在线演示：
http://www.ltp-cloud.com/demo/