用MeCab打造自己的分词器（二）

按照用MeCab打造自己的分词器（一）操作，已经安装好了MeCab。

接下来安装指定方式组织语料、词典和配置文件，打造自己的分词系统。

利用backoff2005中微软研究院的中文分词语料来训练一个简单的分词系统，逐步深入完成我们的总目标。

当前目录为$WordSeg，下载微软的语料到当前目录下，解压，并创建msr_mecab_test目录。

~/Project/WordSeg$ ls
icwb2-data  icwb2-data.zip  msr_mecab_test

icwb2-data目录下有如下文件：

~/Project/WordSeg/icwb2-data$ ls
doc  gold  README  scripts  testing  training

其中training目录中存放了训练语料，gold中存放了词典文件

~/Project/WordSeg/icwb2-data/training$ ls
as_training.b5    cityu_training.txt   msr_training.txt   pku_training.txt
as_training.utf8  cityu_training.utf8  msr_training.utf8  pku_training.utf8
~/Project/WordSeg/icwb2-data/gold$ ls
as_testing_gold.txt     cityu_test_gold.txt        msr_test_gold.txt        pku_test_gold.txt
as_testing_gold.utf8    cityu_test_gold.utf8       msr_test_gold.utf8       pku_test_gold.utf8
as_training_words.txt   cityu_training_words.txt   msr_training_words.txt   pku_training_words.txt
as_training_words.utf8  cityu_training_words.utf8  msr_training_words.utf8  pku_training_words.utf8

通过这两个语料可以创建MeCab需要的词典和训练语料，构建我们的模型。还需要配置文件，比如指定特征函数模板、未登录的处理方式等等。

在msr_mecab_test目录下，分别建立三个子目录：seed, final, script:

mkdir seed
mkdir final
mkdir script

~/Project/WordSeg/msr_mecab_test$ ls
final  script  seed

切换进入seed目录。

1、将icwb2-data中提供的词典，转换成MeCab格式。

１１２３项,0,0,0,0,0,0
义演,0,0,0,0,0,0
佳酿,0,0,0,0,0,0
沿街,0,0,0,0,0,0
老理,0,0,0,0,0,0
三四十岁,0,0,0,0,0,0
解波,0,0,0,0,0,0
统建,0,0,0,0,0,0
蓓蕾,0,0,0,0,0,0
李佑生,0,0,0,0,0,0

它的每一行包括七项特征，详细后表。如果只是分词功能，后面六项都置零就可以了。

2、准备配置文件

    在seed目录下准备5个最基础的配置文件，分别是dicrc, char.def, unk.def, rewrite.def, feature.def。

1) dicrc: 该文件中设定词典的各种动作的，以下为最小配置：

cost-factor = 800
bos-feature = BOS/EOS,*,*,*,*,*,*,*,*
eval-size = 6
unk-eval-size = 4
config-charset = UTF-8

2) char.def: 定义未登陆词处理的文件. 通常日语的词法分析是基于字符的种类处理未登陆词, Mecab 中哪个文字属于哪个字符种类, 用户可以进行细致的指定; 对于每个字符类别， 需要采用哪种未登陆词的识别处理,也可以进行详细的定义。

DEFAULT 0 1 0 # DEFAULT is a mandatory category!
SPACE 0 1 0
CJK 0 0 2

# SPACE
0x0020 SPACE # DO NOT REMOVE THIS LINE, 0x0020 is reserved for SPACE
0x00D0 SPACE
0x0009 SPACE
0x000B SPACE
0x000A SPACE

3) unk.def: 用于未登陆词的词典。

DEFAULT,0,0,0,unk,*,*
SPACE,0,0,0,unk,*,*
CJK,0,0,0,unk,*,*

4) rewrite.def: 定义从特征列到内部状态特征列的转换映射。
[unigram rewrite]
*,*,* $1,$2,$3

[left rewrite]
*,*,* $1,$2,$3

[right rewrite]
*,*,* $1,$2,$3

5) feature.def: 该文件中定义了从内部状态的素生列中抽取CRF的素生列的模板

UNIGRAM W0:%F[6]
UNIGRAM W1:%F[0]/%F[6]
UNIGRAM W2:%F[0],%F?[1]/%F[6]
UNIGRAM W3:%F[0],%F[1],%F?[2]/%F[6]
UNIGRAM W4:%F[0],%F[1],%F[2],%F?[3]/%F[6]

UNIGRAM T0:%t
UNIGRAM T1:%F[0]/%t
UNIGRAM T2:%F[0],%F?[1]/%t
UNIGRAM T3:%F[0],%F[1],%F?[2]/%t
UNIGRAM T4:%F[0],%F[1],%F[2],%F?[3]/%t

BIGRAM B00:%L[0]/%R[0]
BIGRAM B01:%L[0],%L?[1]/%R[0]
BIGRAM B02:%L[0]/%R[0],%R?[1]
BIGRAM B03:%L[0]/%R[0],%R[1],%R?[2]
BIGRAM B04:%L[0],%L?[1]/%R[0],%R[1],%R?[2]
BIGRAM B05:%L[0]/%R[0],%R[1],%R[2],%R?[3]
BIGRAM B06:%L[0],%L?[1]/%R[0],%R[1],%R[2],%R?[3]

3、准备训练语料

msr提供的语料格式是这样的：

人们  常  说  生活  是  一  部  教科书  ，  而  血  与  火  的  战争  更  是  不可多得  的  教科书  ，  她  确实  是  名副其实  的  ‘  我  的  大学  ’  。
“  心  静  渐  知  春  似  海  ，  花  深  每  觉  影  生  香  。
“  吃  屎  的  东西  ，  连  一  捆  麦  也  铡  不  动  呀  ？
他  “  严格要求  自己  ，  从  一个  科举  出身  的  进士  成为  一个  伟大  的  民主主义  者  ，  进而  成为  一  位  杰出  的  党外  共产主义  战士  ，  献身  于  崇高  的  共产主义  事业  。

分词用空格隔开，而MeCab的训练语料和它的词典格式非常相似，每行行首是一个词，然后用tab键隔开，后跟词相关的特征比如词性、发音等等。我们只有分词功能，后面都置零就可以。

人们    0,0,0,0,0,0
常      0,0,0,0,0,0
说      0,0,0,0,0,0
生活    0,0,0,0,0,0
是      0,0,0,0,0,0
一      0,0,0,0,0,0
部      0,0,0,0,0,0
教科书  0,0,0,0,0,0
，      0,0,0,0,0,0
而      0,0,0,0,0,0
血      0,0,0,0,0,0
与      0,0,0,0,0,0
火      0,0,0,0,0,0
的      0,0,0,0,0,0
战争    0,0,0,0,0,0
更      0,0,0,0,0,0
是      0,0,0,0,0,0
不可多得        0,0,0,0,0,0
的      0,0,0,0,0,0
教科书  0,0,0,0,0,0
，      0,0,0,0,0,0
她      0,0,0,0,0,0
确实    0,0,0,0,0,0
是      0,0,0,0,0,0
 

seed目录下多了两个文件分别是corpus、和msr_words.csv

到目前为止，我们需要训练用的词典，配置文件及训练语料已准备就绪：

seed 词典(CSV 格式文件集合)
所有的配置文件 (char.def, unk.def, rewrite.def, feature.def)
训练用的数据 (文件名: corpus)

4、生成训练用的二进制词典

在seed目录下运行以下命令， 生成学习用的二进制词典:

/usr/local/libexec/mecab/mecab-dict-index

也可以通过 -d, -o 选项指定输入输出目录来运行该命令
/usr/local/libexec/mecab/mecab-dict-index -d \$WORK/seed -o \$WORK/seed
-d: 包含seed 词典和配置文件的目录(缺省为当前目录)
-o: 训练用二进制词典的输出目录(缺省为当前目录)

5、CRF模型参数训练

在seed目录下执行如下命令，训练CRF模型：
/usr/local/libexec/mecab/mecab-cost-train -c 1.0 corpus model

可以使用 -d 参数指定使用的词典
/usr/local/libexec/mecab/mecab-cost-train -d \$WORK/seed -c 1.0 \$WORK/seed/corpus \$WORK/seed/model
-d: 包含训练用二进制词典的目录(缺省为当前目录)
-c: CRF的超参数(hyper-parameter)
-f: 特征频率的阈值
-p NUM: 实行NUM个并行训练 (缺省为1)
corpus: 训练数据文件名
model: 输出CRF参数文件名

这个训练过程需要一会儿时间，最终的输出大致如下：

adding virtual node: 0,0,0,0,0,0
adding virtual node: 0,0,0,0,0,0
adding virtual node: 0,0,0,0,0,0
adding virtual node: 0,0,0,0,0,0
...
Number of sentences: 86918
Number of features: 28
eta: 0.00005
freq: 1
eval-size: 6
unk-eval-size: 4
threads: 1
charset: EUC-JP
C(sigma^2): 1.00000

iter=0 err=0.29595 F=0.94870 target=2267078.26396 diff=1.00000
iter=1 err=0.13623 F=0.97665 target=1056367.13470 diff=0.53404
iter=2 err=0.13849 F=0.97610 target=1005496.50043 diff=0.04816
iter=3 err=0.14630 F=0.97388 target=924449.25300 diff=0.08060
iter=4 err=0.13693 F=0.97643 target=891815.15638 diff=0.03530
iter=5 err=0.13537 F=0.97672 target=869032.52748 diff=0.02555
iter=6 err=0.11850 F=0.98127 target=854787.02218 diff=0.01639
iter=7 err=0.10803 F=0.98411 target=845031.70611 diff=0.01141
iter=8 err=0.08712 F=0.98848 target=838863.46990 diff=0.00730
iter=9 err=0.07940 F=0.99001 target=835481.49751 diff=0.00403
iter=10 err=0.07276 F=0.99114 target=833719.13204 diff=0.00211
iter=11 err=0.06556 F=0.99263 target=833462.32905 diff=0.00031
iter=12 err=0.06569 F=0.99258 target=831886.20533 diff=0.00189
iter=13 err=0.06568 F=0.99259 target=831739.11465 diff=0.00018
iter=14 err=0.06559 F=0.99262 target=831643.59710 diff=0.00011
iter=15 err=0.06531 F=0.99266 target=831599.69205 diff=0.00005
iter=16 err=0.06502 F=0.99274 target=831544.40251 diff=0.00007
iter=17 err=0.06480 F=0.99279 target=831518.14668 diff=0.00003
iter=18 err=0.06475 F=0.99280 target=831504.33361 diff=0.00002
iter=19 err=0.06470 F=0.99281 target=831502.92263 diff=0.00000

Done! writing model file ...

6、生成用于发布的词典

在seed目录下执行：

/usr/local/libexec/mecab/mecab-dict-gen -o ../final -m model

model is not a binary model. reopen it as text mode...
reading ./unk.def ... 3
reading ./msr_words.csv ... 88119
emitting ../final/left-id.def/ ../final/right-id.def
emitting ../final/unk.def ... 3
emitting ../final/msr_words.csv ... 88119
emitting matrix : 100% |###########################################|
emitting matrix : 133% |########################################### copying ./char.def to ../final/char.def
copying ./rewrite.def to ../final/rewrite.def
copying ./dicrc to ../final/dicrc
copying ./feature.def to ../final/feature.def
copying model to ../final/model.def

done!

也可以使用 -d -o 选项指定词典
/usr/local/libexec/mecab/mecab-dict-gen -o \$WORK/final -d \$WORK/seed -m \$WORK/seed/model
-d: 包含seed 词典和配置文件的目录(缺省为当前目录)
-o: 用于发布的词典的输出目录
-m: CRF 的参数文件
用于发布的词典， 必须输出到和 seed 词典不同的目录，通常把包含发布词典的 final 目录打包之后用于发布 .

7、生成用于解析器的词典
进入到final目录下
cd ../final
执行
/usr/local/libexec/mecab/mecab-dict-index

reading ./unk.def ... 3
emitting double-array: 100% |###########################################|
./pos-id.def is not found. minimum setting is used
reading ./msr_words.csv ... 88119
emitting double-array: 100% |###########################################|
reading ./matrix.def ... 3x3
emitting matrix : 100% |###########################################|

done!

也可以使用 -d -o 选项指定词典
usr/local/libexec/mecab/mecab-dict-index -d \$WORK/final -o \$WORK/final
-d: 包含seed 词典和配置文件的目录(缺省为当前目录)
-o: 用于解析器的二进制词典的输出目录(缺省为当前目录)

至此，MeCab中文分词所需的词典和模型文件准备就绪，都在final目录下，可以测试一下，回到上一层目录（cd ..)，然后执行

/WordSeg/msr_mecab_test$ mecab -d ./final/

请介绍信托基金的情况

请    0,0,0
介绍信    0,0,0
托    0,0,0
基金    0,0,0
的    0,0,0
情况    0,0,0
EOS

输出的结果。看到它把“信托”分开了。信托基金是金融领域的常用词。可见语料和词典中没有覆盖金融领域词。这也是为什么要有自己的分词系统的缘故。