前段时间写了中文分词的一些记录里面提到了CRF的分词方法,近段时间又研究了一下,特把方法写下来,以备忘,另外,李沫南同学优化过CRF++,见:http://www.coreseek.cn/opensource/CRF/。我觉得CRF++还有更大的优化空间,以后有时间再搞。
1 下载和安装
CRF的概念,请google,我就不浪费资源啦。官方地址如下:http://crfpp.sourceforge.net/
我用的是Ubutnu,所以,下载的是源码:http://sourceforge.net/projects/crfpp/files/ 下载CRF++-0.54.tar.gz
没有gcc/g++/make请安装
% ./configure
% make[如果path.h报错 加上#inlcude<iostream>头文件]
% sudo make install
2 测试和体验
在源码包中有example,可以执行./exec.sh体验一下
exec.sh #训练和测试脚本
template #模板文件
test.data #测试文件
train.data #训练文件
可以打开看看
3 语料整理和模板编写
我采用的是6Tag和6Template的方式
S,单个词;B,词首;E,词尾;M1/M2/M,词中
1个字的词:
和 S
2个字的词(注意是实际上是一个字一行,我为了排版,改为横排的了):
中 B 国 E
3个字的词:
进 B 一 M 步 E
5个字的词:
发 B 展 M1 中 M2 国 M 家 E
跟多字的词
中 B 华 M1 人 M2 民 M 共 M 和 M国 E
标点符号作为单词(S表示)
从bamboo项目中下载:people-daily.txt.gz
pepoledata.py文件
- #!/usr/bin/python
- #-*-coding:utf-8-*-
- importsys
- #home_dir="D:/source/NLP/people_daily//"
- home_dir="/home/lhb/workspace/CRF_data/"
- defsplitWord(words):
- uni=words.decode('utf-8')
- li=list()
- foruinuni:
- li.append(u.encode('utf-8'))
- returnli
- #4tag
- #S/B/E/M
- defget4Tag(li):
- length=len(li)
- #printlength
- iflength==1:
- return['S']
- eliflength==2:
- return['B','E']
- eliflength>2:
- li=list()
- li.append('B')
- foriinrange(0,length-2):
- li.append('M')
- li.append('E')
- returnli
- #6tag
- #S/B/E/M/M1/M2
- defget6Tag(li):
- length=len(li)
- #printlength
- iflength==1:
- return['S']
- eliflength==2:
- return['B','E']
- eliflength==3:
- return['B','M','E']
- eliflength==4:
- return['B','M1','M','E']
- eliflength==5:
- return['B','M1','M2','M','E']
- eliflength>5:
- li=list()
- li.append('B')
- li.append('M1')
- li.append('M2')
- foriinrange(0,length-4):
- li.append('M')
- li.append('E')
- returnli
- defsaveDataFile(trainobj,testobj,isTest,word,handle,tag):
- ifisTest:
- saveTrainFile(testobj,word,handle,tag)
- else:
- saveTrainFile(trainobj,word,handle,tag)
- defsaveTrainFile(fiobj,word,handle,tag):
- iflen(word)>0:
- wordli=splitWord(word)
- iftag=='4':
- tagli=get4Tag(wordli)
- iftag=='6':
- tagli=get6Tag(wordli)
- foriinrange(0,len(wordli)):
- w=wordli[i]
- h=handle
- t=tagli[i]
- fiobj.write(w+'/t'+h+'/t'+t+'/n')
- else:
- #print'Newline'
- fiobj.write('/n')
- #B,M,M1,M2,M3,E,S
- defconvertTag(tag):
- fiobj=open(home_dir+'people-daily.txt','r')
- trainobj=open(home_dir+tag+'.train.data','w')
- testobj=open(home_dir+tag+'.test.data','w')
- arr=fiobj.readlines()
- i=0
- forainarr:
- i+=1
- a=a.strip('/r/n/t')
- words=a.split('')
- test=False
- ifi%10==0:
- test=True
- forwordinwords:
- word=word.strip('/t')
- iflen(word)>0:
- i1=word.find('[')
- ifi1>=0:
- word=word[i1+1:]
- i2=word.find(']')
- ifi2>0:
- word=word[:i2]
- word_hand=word.split('/')
- w,h=word_hand
- #printw,h
- ifh=='nr':#renmin
- #print'NR',w
- ifw.find('·')>=0:
- tmpArr=w.split('·')
- fortmpintmpArr:
- saveDataFile(trainobj,testobj,test,tmp,h,tag)
- continue
- ifh!='m':
- saveDataFile(trainobj,testobj,test,w,h,tag)
- ifh=='w':
- saveDataFile(trainobj,testobj,test,"","",tag)#split
- trainobj.flush()
- testobj.flush()
- if__name__=='__main__':
- iflen(sys.argv)<2:
- print'tag[6,4]convertrawdatatotrain.dataandtag.test.data'
- else:
- tag=sys.argv[1]
- convertTag(tag)
下载下来并解压,然后用脚本整理数据,注意home_dir改为语料的目录:
python ./peopledata.py 6
90%数据作为训练数据,10%的数据作为测试数据,生成的文件如:
6.test.data
6.train.data
模板文件的写法如下
template:
- #Unigram
- U00:%x[-1,0]
- U01:%x[0,0]
- U02:%x[1,0]
- U03:%x[-1,0]/%x[0,0]
- U04:%x[0,0]/%x[1,0]
- U05:%x[-1,0]/%x[1,0]
- #Bigram
- B
%x[row,column]代表的是行和列,[-1,0]表示前1个字的第1列,[0,0]当前字的第1列,[1,0]后1个字的第1列
4 执行和结果查看
6exec.sh文件
- #!/bin/sh
- ./crf_learn-f3-c4.0template6.train.data6.model>6.train.rst
- ./crf_test-m6.model6.test.data>6.test.rst
- ./crfeval.py6.test.rst
- #./crf_learn-aMIRA-f3templatetrain.datamodel
- #./crf_test-mmodeltest.data
- #rm-fmodel
WordCount from test result: 109805
WordCount from golden data: 109948
WordCount of correct segs : 106145
P = 0.966668, R = 0.965411, F-score = 0.966039
5 调整Tag和模板
4 Tag S/B/M/E 比 6Tag 去掉了M1和M2
python ./peopledata.py 4
4exec.sh文件为
- #!/bin/sh
- ./crf_learn-f3-c4.0template4.train.data4.model>4.train.rst
- ./crf_test-m4.model4.test.data>4.test.rst
- ./crfeval.py4.test.rst
4Tag的效果为
lhb@localhost:~/workspace/CRF_data$./crfeval.py 4.test.rst
ordCount from test result: 109844
WordCount from golden data: 109948
WordCount of correct segs : 105985
P = 0.964868, R = 0.963956, F-score = 0.964412
6Tag的效果比4Tag有细微的差距,当然是6Tag好。
6Tag 训练时间为
10062.00s
4tag的训练时间为
4208.71s
6Tag的标注方法差异
1)把M放在E之前:
发 B 展 M1 中 M2 国 M 家 E
2)把M放在B后
发 B 展 M 中 M1 国 M2 家 E
3)把M放在M1和M2之间:
发 B 展 M1 中 M 国 M2 家 E
第1种方式效果最好,有细微的差距。
template的编写
我尝试过12行模板的编写,把词性作为一个计算因素,但是速度实在是很慢,没跑完,我就关机了。效果应该比6 template要好,可以尝试以下。
- #Unigram
- U00:%x[-1,1]
- U01:%x[0,1]
- U02:%x[1,1]
- U03:%x[-1,1]/%x[0,1]
- U04:%x[0,1]/%x[1,1]
- U05:%x[-1,1]/%x[1,1]
- U06:%x[-1,0]
- U07:%x[0,0]
- U08:%x[1,0]
- U09:%x[-1,0]/%x[0,0]
- U010:%x[0,0]/%x[1,0]
- U011:%x[-1,0]/%x[1,0]
- #Bigram
- B
有某位同学问我要crfeval.py文件,特放出如下:
- #!/usr/bin/python
- #-*-coding:utf-8-*-
- importsys
- if__name__=="__main__":
- try:
- file=open(sys.argv[1],"r")
- except:
- print"resultfileisnotspecified,oropenfailed!"
- sys.exit()
- wc_of_test=0
- wc_of_gold=0
- wc_of_correct=0
- flag=True
- forlinfile:
- ifl=='/n':continue
- _,_,g,r=l.strip().split()
- ifr!=g:
- flag=False
- ifrin('E','S'):
- wc_of_test+=1
- ifflag:
- wc_of_correct+=1
- flag=True
- ifgin('E','S'):
- wc_of_gold+=1
- print"WordCountfromtestresult:",wc_of_test
- print"WordCountfromgoldendata:",wc_of_gold
- print"WordCountofcorrectsegs:",wc_of_correct
- #查全率
- P=wc_of_correct/float(wc_of_test)
- #查准率,召回率
- R=wc_of_correct/float(wc_of_gold)
- print"P=%f,R=%f,F-score=%f"%(P,R,(2*P*R)/(P+R))