通过stanford-postagger对英文单词进行词性标注

1.models介绍

该版本的词性标注工具中有一个models文件夹，该文件夹下有两种类型的文件：.tagger类型和. props类型。其中.tagger类型的文件是词性标注训练出来的模型文件，. props类型是其对应的properties文件。models文件夹下所有的文件如下图：

2.程序及说明

    这个开源词性标注工具中有三种分类器，english-bidirectional-distsim.tagger   english-left3words-distsim.tagger   wsj-0-18-bidirectional-nodistsim.tagger，根据他的说明文档，标注的准确率大概在97.01%，另外，该工具还可以对中文、德文等语言进行词性标注。

    下面来看看标注程序及标注结果：

2.1.标注程序

[java]  view plain copy

1. public class Tagger {  
2.   
3.   public static void main(String[] args) throws Exception {  
4.     String str = "The list of prisoners who may be released in coming days includes militants" +  
5.             " who threw firebombs, in one case at a bus carrying children; stabbed and shot" +  
6.             " civilians, including women, elderly Jews and suspected Palestinian collaborators; " +  
7.             "and ambushed and killed border guards, police officers, security agents and soldiers. " +  
8.             "All of them have been in prison for at least two decades; some were serving life sentences.";  
9.     MaxentTagger tagger = new MaxentTagger("c:/wsj-0-18-bidirectional-nodistsim.tagger");  
10.     Long start = System.currentTimeMillis();  
11.     List<List<HasWord>> sentences = MaxentTagger.tokenizeText(new StringReader(str));  
12.     System.out.println("Tagging 用时"+(System.currentTimeMillis() - start)+"毫秒");  
13.     for (List<HasWord> sentence : sentences) {  
14.       ArrayList<TaggedWord> tSentence = tagger.tagSentence(sentence);  
15.       System.out.println(Sentence.listToString(tSentence, false));  
16.     }  
17.   }  
18.   
19. }  

2.2.标注结果

[plain]  view plain copy

1. Tagging 用时84毫秒  
2. The/DT list/NN of/IN prisoners/NNS who/WP may/MD be/VB released/VBN in/IN coming/VBG days/NNS includes/VBZ militants/NNS who/WP threw/VBD firebombs/NNS ,/,   
3. in/IN one/CD case/NN at/IN a/DT bus/NN carrying/VBG children/NNS ;/: stabbed/VBN and/CC shot/VBN civilians/NNS ,/, including/VBG women/NNS ,/, elderly/JJ   
4. Jews/NNS and/CC suspected/JJ Palestinian/JJ collaborators/NNS ;/: and/CC ambushed/VBN and/CC killed/VBN border/NN guards/NNS ,/, police/NN officers/NNS ,/,   
5. security/NN agents/NNS and/CC soldiers/NNS ./.All/DT of/IN them/PRP have/VBP been/VBN in/IN prison/NN for/IN at/IN least/JJS two/CD decades/NNS ;/: some/DT   
6. were/VBD serving/VBG life/NN sentences/NNS ./.  

下面这张表，是英文单词的词性表

从上面的表和程序的标注结果来看，分词是很准确的。