开源中文分词工具探析（六）：Stanford CoreNLP

最新推荐文章于 2023-10-20 08:59:46 发布
最新推荐文章于 2023-10-20 08:59:46 发布
阅读量279 收藏
点赞数
文章标签： 人工智能 java

CoreNLP是由斯坦福大学开源的一套Java NLP工具，提供诸如：词性标注（part-of-speech (POS) tagger）、命名实体识别（named entity recognizer (NER)）、情感分析（sentiment analysis）等功能。

【开源中文分词工具探析】系列：

  1. 开源中文分词工具探析（一）：ICTCLAS (NLPIR)
  2. 开源中文分词工具探析（二）：Jieba
  3. 开源中文分词工具探析（三）：Ansj
  4. 开源中文分词工具探析（四）：THULAC
  5. 开源中文分词工具探析（五）：FNLP
  6. 开源中文分词工具探析（六）：Stanford CoreNLP
  7. 开源中文分词工具探析（七）：LTP

1. 前言

CoreNLP的中文分词基于CRF模型：

\[ P_w(y|x) = \frac{exp \left( \sum_i w_i f_i(x,y) \right)}{Z_w(x)} \]

其中，\(Z_w(x)\)为归一化因子，\(w\)为模型的参数，\(f_i(x,y)\)为特征函数。

2. 分解

以下源码分析基于3.7.0版本，分词示例见SegDemo类。

模型

主要模型文件有两份，一份为词典文件dict-chris6.ser.gz：

// dict-chris6.ser.gz 对应于长度为7的Set数组词典
// 共计词数：0+7323+125336+142252+82139+26907+39243
ChineseDictionary::loadDictionary(String serializePath) {
    Set<String>[] dict = new HashSet[MAX_LEXICON_LENGTH + 1];
    for (int i = 0; i <= MAX_LEXICON_LENGTH; i++) {
        dict[i] = Generics.newHashSet();
    }
    dict = IOUtils.readObjectFromURLOrClasspathOrFileSystem(serializePath);
    return dict;
}

词典的索引值为词的长度，比如第0个词典中没有词，第1个词典为长度为1的词，第6个词典为长度为6的词。其中，第6个词典为半成词，比如，有词“《双峰》（电”、“８０年国家领”、“１８２４年英”。

另一份为CRF训练模型文件ctb.gz：

CRFClassifier::loadClassifier(ObjectInputStream ois, Properties props) {
    Object o = ois.readObject();
    if (o instanceof List) {
        labelIndices = (List<Index<CRFLabel>>) o; // label索引
    }
    classIndex = (Index<String>) ois.readObject(); // 序列标注label
    featureIndex = (Index<String>) ois.readObject(); // 特征
    flags = (SeqClassifierFlags) ois.readObject(); // 模型配置

    Object featureFactory = ois.readObject(); // 特征模板，用于生成特征
    else if (featureFactory instanceof FeatureFactory) {
        featureFactories = Generics.newArrayList();
        featureFactories.add((FeatureFactory<IN>) featureFactory);
    }

    windowSize = ois.readInt(); // 窗口大小为2
    weights = (double[][]) ois.readObject(); // 特征+label 对应的权重

    Set<String> lcWords = (Set<String>) ois.readObject(); // Set为空
    else {
        knownLCWords = new MaxSizeConcurrentHashSet<>(lcWords);
    }

    reinit();
}

不同于其他分词器采用B、M、E、S四种label来做分词，CoreNLP的中文分词label只有两种，“1”表示当前字符与前一字符连接成词，“0”则表示当前字符为另一词的开始——换言之前一字符为上一个词的结尾。

class CRFClassifier {
    classIndex: class edu.stanford.nlp.util.HashIndex
      ["1","0"]
}

// 中文分词label对应的类
public static class AnswerAnnotation implements CoreAnnotation<String>{}

特征

CoreNLP的特征如下（示例）：

class CRFClassifier {
    // 特征
    featureIndex: class edu.stanford.nlp.util.HashIndex
        size = 3408491
        0=的膀cc2|C
        1=身也pc|C
        44=LSSLp2spscsc2s|C
        45=科背p2p|C
        46=迪。cc2|C
        ...
        =球-行pc2|CnC
        =音非cc2|CpC
    
    // 权重
    weights: double[3408491][2]
        [[2.2114868426005005E-5, -2.2114868091546352E-5]...]
}

特征后缀只有3类：C, CpC, CnC，分别代表了三大类特征；均由特征模板生成：

// 特征模板List
featureFactories: ArrayList<FeatureFactory>
    0 = Gale2007ChineseSegmenterFeatureFactory

// 具体特征模板
Gale2007ChineseSegmenterFeatureFactory::getCliqueFeatures() {
    if (clique == cliqueC) {
        addAllInterningAndSuffixing(features, featuresC(cInfo, loc), "C");
    } else if (clique == cliqueCpC) {
        addAllInterningAndSuffixing(features, featuresCpC(cInfo, loc), "CpC");
        addAllInterningAndSuffixing(features, featuresCnC(cInfo, loc - 1), "CnC");
    }
}

特征模板只用到了两个特征簇cliqueC与cliqueCpC，其中，cliqueC由函数featuresC()实现，cliqueCpC由函数featuresCpC()与featuresCnC()


Gale2007ChineseSegmenterFeatureFactory::featuresC() {
    if (flags.useWord1) {
        // Unigram 特征
        features.add(charc +"::c"); // c[0]
        features.add(charc2+"::c2"); // c[1]
        features.add(charp +"::p"); // c[-1]
        features.add(charp2 +"::p2"); // c[-2]

        // Bigram 特征
        features.add(charc +charc2  +"::cn"); // c[0]c[1]
        features.add(charc +charc3  +"::cn2"); // c[0]c[2]
        features.add(charp +charc  +"::pc"); // c[-1]c[0]
        features.add(charp +charc2  +"::pn"); // c[-1]c[1]
        features.add(charp2 +charp  +"::p2p"); // c[-2]c[-1]
        features.add(charp2 +charc  +"::p2c"); // c[-2]c[0]
        features.add(charc2 +charc  +"::n2c"); // c[1]c[0]
    }

    // 三个字符c[-1]c[0]c[1]对应的LBeginAnnotation、LMiddleAnnotation、LEndAnnotation 三种label特征
    // 结果特征分别以6种形式结尾，"-lb", "-lm", "-le", "-plb", "-plm", "-ple", "-c2lb", "-c2lm", "-c2le"
    // null || ".../models/segmenter/chinese/dict-chris6.ser.gz"
    if (flags.dictionary != null || flags.serializedDictionary != null) {
        dictionaryFeaturesC(CoreAnnotations.LBeginAnnotation.class,
                CoreAnnotations.LMiddleAnnotation.class,
                CoreAnnotations.LEndAnnotation.class,
                "", features, p, c, c2);
    }

    // 特征 c[1]c[0], c[1]
    if (flags.useFeaturesC4gram || flags.useFeaturesC5gram || flags.useFeaturesC6gram) {
        features.add(charp2 + charp + "p2p");
        features.add(charp2 + "p2");
    }

    // Unicode特征
    if (flags.useUnicodeType || flags.useUnicodeType4gram || flags.useUnicodeType5gram) {
        features.add(uTypep + "-" + uTypec + "-" + uTypec2 + "-uType3");
    }

    // UnicodeType特征
    if (flags.useUnicodeType4gram || flags.useUnicodeType5gram) {
        features.add(uTypep2 + "-" + uTypep + "-" + uTypec + "-" + uTypec2 + "-uType4");
    }

    // UnicodeBlock特征
    if (flags.useUnicodeBlock) {
        features.add(p.getString(CoreAnnotations.UBlockAnnotation.class) + "-"
                + c.getString(CoreAnnotations.UBlockAnnotation.class) + "-"
                + c2.getString(CoreAnnotations.UBlockAnnotation.class)
                + "-uBlock");
    }

    // Shape特征
    if (flags.useShapeStrings) {
        if (flags.useShapeStrings1) {
            features.add(p.getString(CoreAnnotations.ShapeAnnotation.class) + "ps");
            features.add(c.getString(CoreAnnotations.ShapeAnnotation.class) + "cs");
            features.add(c2.getString(CoreAnnotations.ShapeAnnotation.class) + "c2s");
        }
        if (flags.useShapeStrings3) {
            features.add(p.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + "pscsc2s");
        }
        if (flags.useShapeStrings4) {
            features.add(p2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + p.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + "p2spscsc2s");
        }
        if (flags.useShapeStrings5) {
            features.add(p2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + p.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c3.getString(CoreAnnotations.ShapeAnnotation.class)
                    + "p2spscsc2sc3s");
        }
    }
}

Gale2007ChineseSegmenterFeatureFactory::featuresCpC() {}

Gale2007ChineseSegmenterFeatureFactory::featuresCnC() {}

三大类特征分别以“|C”为结尾（共计有32个）、以“|CpC”结尾（共计有37个）、以“|CnC”结尾（共计有9个）；总计78个特征。个人感觉CoreNLP定义的特征过于复杂，大部分特征并没有什么用。CoreNLP后面处理流程跟其他分词器别无二样了，求每个label的权重加权之和，Viterbi解码求解最大概率路径，解析label序列得到分词结果。

CoreNLP分词速度巨慢，效果也一般，在PKU、MSR测试集上的表现如下：

测试集分词器准确率召回率F1
PKUthulac4j0.9480.9360.942
CoreNLP0.9010.8940.897
MSRthulac4j0.8660.8960.881
CoreNLP0.8220.8590.840

3.参考资料

[1] Huihsin, Tseng, et al. "A conditional random field word segmenter." Fourth SIGHAN Workshop. 2005.
[2] Chang, Pi-Chuan, Michel Galley, and Christopher D. Manning. "Optimizing Chinese word segmentation for machine translation performance." Proceedings of the third workshop on statistical machine translation. Association for Computational Linguistics, 2008.

weixin_34239592
关注
Stanford CoreNLP:斯坦福 CoreNLP，核心 NLP 工具的 Java 套件-开源
08-07
CoreNLP 目前支持 6 种语言，阿拉伯语、中文、英语、法语、德语和西班牙语。 CoreNLP 的核心是管道。 管道接收原始文本，对文本运行一系列 NLP 注释器，并生成最终的一组注释。 管道产生 CoreDocument，这是包含...
corenlp分词 stanford_开源中文分词工具探析（六）：Stanford CoreNLP
weixin_29046035的博客
02-01 744
CoreNLP是由斯坦福大学开源的一套Java NLP工具，提供诸如：词性标注(part-of-speech (POS) tagger)、命名实体识别(named entity recognizer (NER))、情感分析(sentiment analysis)等功能。【开源中文分词工具探析】系列：1. 前言CoreNLP的中文分词基于CRF模型：\[P_w(y|x) = \frac{exp \l...
Stanford coreNLP源码学习(1)
小叶子的博客
12-10 3059
代码 //openie is dependent on tokenize,ssplit,pos,depparse public class Try1 { public static void main(String[] args){ Properties props = new Properties(); //props是一个类似map的结构
几款开源的中文分词系统
最新发布
草根上的须子
10-20 1429
PhpanAlysis分词系统是基于字符串匹配的分词方法 ，这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。ICTCLAS 3.0 商业版是收费的，而免费提供的 ICTCLAS 3.0 共享版不开源，词库是根据人民日报一个月的语料得出的，很多词语不存在。功能：盘古分词提供中文人名识别，简繁混合分词，多元分词，英文词根化，强制一元分词，词频优先分词，停用词过滤，英文专名提取等一系列功能。
Stanford Corenlp中文分词自定义词典（扩展词典）
u013578877的博客
08-22 6678
Stanford Corenlp是斯坦福大学的自然语言处理工具，其中中文分词是基于条件随机场CRF (Conditional Random Field) ，不是基于字典的直接匹配。最近调用Stanford Word Segmenter进行中文分词时，发现一些tokens切割不符合我们的预期，比如“大数据”被切分为“大 / 数据”，“信息安全”切分为“信息 / 安全”， “草泥马”被切分为草 / ...
stanford-corenlp：Stanford CoreNLP的Python包装器
02-24
斯坦福大学 stanfordcorenlp是的Python包装器。 它提供了用于文本处理任务的简单API，例如令牌化，语音标记，命名实体重新命名，选区解析，依赖项解析...nlp = StanfordCoreNLP ( r'G:\JavaLibraries\stanford-corenl
数据语言学家：Stanford CoreNLP，惯用的Clojure
02-02
数据语言学家在处理自然语言时，常常会使用各种工具和技术，其中Stanford CoreNLP是一个广泛采用的开源工具包，尤其在Clojure编程环境中。本文将深入探讨Stanford CoreNLP的功能、它如何与Clojure结合使用，以及相关...
python-sutime：Stanford CoreNLP的SUTime的Python包装器
02-03
Stanford CoreNLP的 Java库的Python包装器。 文档也托管在。 建立状态 Travis CI构建 聚酰亚胺 代码质量 安装 >> # Ideally, create a virtual environment before installing any dependencies >> pip install ...
python-corenlp-protobuf:Stanford CoreNLP的protobuf的Python绑定
04-29
Stanford CoreNLP Python绑定 该软件包包含由生成的的protobuf规范的python绑定。 这些绑定可用于解析由例如生成的二进制数据。 用法： from corenlp_protobuf import Document , parseFromDelimitedString# ...
IKAnalyzer开源轻量级中文分词工具包2012u6
08-04
IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了
开源中文分词工具探析（五）：FNLP
weixin_34221073的博客
03-16 198
FNLP是由Fudan NLP实验室的邱锡鹏老师开源的一套Java写就的中文NLP工具包，提供诸如分词、词性标注、文本分类、依存句法分析等功能。 【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文分词工具探析（三）：Ansj 开源中文分词工具探析（四）：THULAC 开源中文分词工具探析（五）：FNLP ...
CoreNLP简介
smallworldxyl的博客
09-07 4009
CoreNLP是您使用Java进行自然语言处理的一站式服务！CoreNLP使用户能够导出文本的语言注释，包括标记和句子边界，词性，命名实体，数字和时间值，依存关系和选区解析，共指，情感，引用属性和关系。CoreNLP当前支持6种语言：阿拉伯语，中文，英语，法语，德语和西班牙语。 管道 CoreNLP的核心是管道。管道接收原始文本，在文本上运行一系列NLP注释器，并生成最终的注释集。 核心文件 管道产生CoreDocuments，这些数据对象包含所有注释信息，可通过简单的API进行访问，并可序列化为Goo.
CoreNLP-4.2.0 使用以及踩坑
zyf的博客
03-04 5257
CoreNLP是什么就不多解释了。本文记录入门使用CoreNLP-4.2.0中遇到的坑（因为官网文档落后，且默认针对ubuntu中分析英文，加上网上中文教程多针对3.9.0。而4.2.0有部分改动） 参考： CoreNLP官网 CoreNLP中文使用(3.9.0) 1.环境 Jdk8：版本低没法用。版本高（9/10/11）的话，由于java本身抛弃了一些东西，因此运行时候需要添加其他参数。根据官方文档，需要添加--add-modules java.se.ee来避免错误。综上，直接用Jdk8来弄。 wi
开源中文分词Ansj的简单使用
u012998680的博客
07-31 3145
​ ANSJ是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram + HMM分词模型：在Bigram分词的基础上，识别未登录词，以提高分词准确度。
Stanford自然语言处理工具包
weixin_45858635的博客
03-09 1001
总的来说，Stanford CoreNLP提供了一个全面的自然语言处理工具包，可以进行多种自然语言处理任务的分析，而StanfordNLP则提供了一个轻量级的API，使得开发人员可以更容易地在他们的代码中集成自然语言处理功能。因此，具体选择哪一个工具包，取决于你的具体需求和使用场景。如果需要进行更广泛的自然语言处理任务，或者需要更丰富的算法和工具，那么 NLTK 可能更适合。StanfordNLP 和 NLTK都是常用的自然语言处理工具包，它们都提供了一系列处理自然语言文本的工具和算法。
使用Stanford CoreNLP工具包处理中文
热门推荐
nuaabo
04-14 3万+
这几天刚刚接触自然语言处理，使用了Stanford CoreNLP工具。但毕竟是第一次用，所以遇到很多问题，现将解决方案记下（容易百度到的错误就不记了）。 其中用Stanford CoreNLP集合工具来处理中文的方法网上很少有说明，官方Demo也没有说明，特在此记下。 Stanford 提供了很多NLP工具，默认均直接支持英文，部分需要model支持中文。这是这些工具官方列表地址：http:
Stanford CoreNLP 进行中文分词
macanv的专栏
06-10 1万+
Stanford CoreNLP 进行中文分词中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用Stanford CoreNLP进行中文分词的学习笔记。1. 工具准备1.1 下载NLP相关包：网址： https://stanfordnlp.github.io/CoreNLP/index.html 需要下载的包看下图： 1.2 准备jar包将下载下来
如何安装stanford corenlp中文分词
05-16
安装Stanford CoreNLP中文分词需要以下步骤： 1. 下载Stanford CoreNLP的最新版本（下载链接：https://stanfordnlp.github.io/CoreNLP/）。 2. 下载中文模型文件（下载链接：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值