CRF++进行中文分词实例

最新推荐文章于 2020-12-09 09:47:43 发布

weixin_30482383

最新推荐文章于 2020-12-09 09:47:43 发布

阅读量972

点赞数 1

文章标签： python 人工智能操作系统

原文链接：http://www.cnblogs.com/gczr/p/10053768.html

版权

本文详细介绍了如何使用CRF++工具进行中文分词，包括语料准备、模型训练、测试语料处理及效果评估。通过CRF++的训练和测试，实现了96%以上准确率的分词结果。

摘要由CSDN通过智能技术生成

工具包：https://taku910.github.io/crfpp/#tips

语料：http://sighan.cs.uchicago.edu/bakeoff2005/

安装：

1）下载linux版本CRF++包-----CRF++-0.58.tar.gz，并解压。

2）cd CRF++-0.58

3）./configure

4)sudo make

5)sudo make install

若出现ImportError: libcrfpp.so.0: cannot open shared object file: No such file or directory 。
解决方法： ln -s /usr/local/lib/libcrfpp.so.0 /usr/lib/

第一步：准备训练语料

将backoff2005里的训练数据转化为CRF++所需的训练数据格式，采用4-tag( B(Begin，词首), E(End，词尾), M(Middle，词中), S(Single,单字词))标记集，处理utf-8编码文本。原始训练集/icwb2-data/training/msr_training.utf8的形式是人工分好词的中文句子形式。如下：

“ 人们常说生活是一部教科书，而血与火的战争 > 更是不可多得的教科书，她确实是名副其实的 ‘ 我的 > 大学 ’ 。
“ 心静渐知春似海，花深每觉影生香。
“ 吃屎的东西，连一捆麦也铡不动呀？
他 “ 严格要求自己，从一个科举出身的进士成为一个伟> 大的民主主义者，进而成为一位杰出的党外共产主义战士，献身于崇高的共产主义事业。
“ 征而未用的耕地和有收益的土地，不准荒芜。
“ 这首先是个民族问题，民族的感情问题。
’ 我扔了两颗手榴弹，他一下子出溜下去。
“ 废除先前存在的所有制关系，并不是共产主义所独具的特征。
“ 这个案子从始至今我们都没有跟法官接触过，也 > 没有跟原告、被告接触过。
“ 你只有把事情做好，大伙才服你 。

根据如下的脚本 make_crf_train.py，将这个训练语料转换为CRF++训练用的语料格式(2列，4-tag)：

import codecs  
import sys  
  
def character_tagging(input_file, output_file):  
    input_data = codecs.open(input_file, 'r', 'utf-8')  
    output_data = codecs.open(output_file, 'w', 'utf-8')  
    for line in input_data.readlines():  
        word_list = line.strip().split()  
        for word in word_list:  
            if len(word) == 1:  
                output_data.write(word + "\tS\n")  
            else:  
                output_data.write(word[0] + "\tB\n")  
                for w in word[1:len(word)-1]:  
                    output_data.write(w + "