Stanford Named Entity Recognizer (NER)是斯坦福大学自然语言研究小组发布的成果之一,主页是:http://nlp.stanford.edu/software/CRF-NER.shtml
Stanford NER 是一个Java实现的命名实体识别(以下简称NER))程序。NER将文本中的实体按类标记出来,例如人名,公司名,地区,基因和蛋白质的名字等。
NER基于一个训练而得的Model工作,用于训练的数据即大量人工标记好的文本,理论上用于训练的数据量越大,NER的识别效果就越好。
斯坦福小组给出了三个训练好的Model:
1. Location, Person, Organization
2. Location, Person, Organization, Misc
3. Time, Location, Organization, Person, Money, Percent, Date
但不幸的是,这三个Model都不能被扩展,用于训练的数据也不公开,所以想要一个适应自己需求的Model我们只能从头训练。
下面我们就用一个简单的例子来摸索一下如何训练一个新的Model并用它尝试识别几个简单的句子。
首先从主页下载Stan