开源中文分词工具探析（六）：Stanford CoreNLP

最新推荐文章于 2024-05-29 17:45:17 发布
最新推荐文章于 2024-05-29 17:45:17 发布
阅读量154 收藏 2
点赞数
文章标签： 人工智能 java
原文链接：http://www.cnblogs.com/en-heng/p/8428504.html
版权

CoreNLP是由斯坦福大学开源的一套Java NLP工具，提供诸如：词性标注（part-of-speech (POS) tagger）、命名实体识别（named entity recognizer (NER)）、情感分析（sentiment analysis）等功能。

【开源中文分词工具探析】系列：

  1. 开源中文分词工具探析（一）：ICTCLAS (NLPIR)
  2. 开源中文分词工具探析（二）：Jieba
  3. 开源中文分词工具探析（三）：Ansj
  4. 开源中文分词工具探析（四）：THULAC
  5. 开源中文分词工具探析（五）：FNLP
  6. 开源中文分词工具探析（六）：Stanford CoreNLP
  7. 开源中文分词工具探析（七）：LTP

1. 前言

CoreNLP的中文分词基于CRF模型：

\[ P_w(y|x) = \frac{exp \left( \sum_i w_i f_i(x,y) \right)}{Z_w(x)} \]

其中，\(Z_w(x)\)为归一化因子，\(w\)为模型的参数，\(f_i(x,y)\)为特征函数。

2. 分解

以下源码分析基于3.7.0版本，分词示例见SegDemo类。

模型

主要模型文件有两份，一份为词典文件dict-chris6.ser.gz：

// dict-chris6.ser.gz 对应于长度为7的Set数组词典
// 共计词数：0+7323+125336+142252+82139+26907+39243
ChineseDictionary::loadDictionary(String serializePath) {
    Set<String>[] dict = new HashSet[MAX_LEXICON_LENGTH + 1];
    for (int i = 0; i <= MAX_LEXICON_LENGTH; i++) {
        dict[i] = Generics.newHashSet();
    }
    dict = IOUtils.readObjectFromURLOrClasspathOrFileSystem(serializePath);
    return dict;
}

词典的索引值为词的长度，比如第0个词典中没有词，第1个词典为长度为1的词，第6个词典为长度为6的词。其中，第6个词典为半成词，比如，有词“《双峰》（电”、“８０年国家领”、“１８２４年英”。

另一份为CRF训练模型文件ctb.gz：

CRFClassifier::loadClassifier(ObjectInputStream ois, Properties props) {
    Object o = ois.readObject();
    if (o instanceof List) {
        labelIndices = (List<Index<CRFLabel>>) o; // label索引
    }
    classIndex = (Index<String>) ois.readObject(); // 序列标注label
    featureIndex = (Index<String>) ois.readObject(); // 特征
    flags = (SeqClassifierFlags) ois.readObject(); // 模型配置

    Object featureFactory = ois.readObject(); // 特征模板，用于生成特征
    else if (featureFactory instanceof FeatureFactory) {
        featureFactories = Generics.newArrayList();
        featureFactories.add((FeatureFactory<IN>) featureFactory);
    }

    windowSize = ois.readInt(); // 窗口大小为2
    weights = (double[][]) ois.readObject(); // 特征+label 对应的权重

    Set<String> lcWords = (Set<String>) ois.readObject(); // Set为空
    else {
        knownLCWords = new MaxSizeConcurrentHashSet<>(lcWords);
    }

    reinit();
}

不同于其他分词器采用B、M、E、S四种label来做分词，CoreNLP的中文分词label只有两种，“1”表示当前字符与前一字符连接成词，“0”则表示当前字符为另一词的开始——换言之前一字符为上一个词的结尾。

class CRFClassifier {
    classIndex: class edu.stanford.nlp.util.HashIndex
      ["1","0"]
}

// 中文分词label对应的类
public static class AnswerAnnotation implements CoreAnnotation<String>{}

特征

CoreNLP的特征如下（示例）：

class CRFClassifier {
    // 特征
    featureIndex: class edu.stanford.nlp.util.HashIndex
        size = 3408491
        0=的膀cc2|C
        1=身也pc|C
        44=LSSLp2spscsc2s|C
        45=科背p2p|C
        46=迪。cc2|C
        ...
        =球-行pc2|CnC
        =音非cc2|CpC
    
    // 权重
    weights: double[3408491][2]
        [[2.2114868426005005E-5, -2.2114868091546352E-5]...]
}

特征后缀只有3类：C, CpC, CnC，分别代表了三大类特征；均由特征模板生成：

// 特征模板List
featureFactories: ArrayList<FeatureFactory>
    0 = Gale2007ChineseSegmenterFeatureFactory

// 具体特征模板
Gale2007ChineseSegmenterFeatureFactory::getCliqueFeatures() {
    if (clique == cliqueC) {
        addAllInterningAndSuffixing(features, featuresC(cInfo, loc), "C");
    } else if (clique == cliqueCpC) {
        addAllInterningAndSuffixing(features, featuresCpC(cInfo, loc), "CpC");
        addAllInterningAndSuffixing(features, featuresCnC(cInfo, loc - 1), "CnC");
    }
}

特征模板只用到了两个特征簇cliqueC与cliqueCpC，其中，cliqueC由函数featuresC()实现，cliqueCpC由函数featuresCpC()与featuresCnC()


Gale2007ChineseSegmenterFeatureFactory::featuresC() {
    if (flags.useWord1) {
        // Unigram 特征
        features.add(charc +"::c"); // c[0]
        features.add(charc2+"::c2"); // c[1]
        features.add(charp +"::p"); // c[-1]
        features.add(charp2 +"::p2"); // c[-2]

        // Bigram 特征
        features.add(charc +charc2  +"::cn"); // c[0]c[1]
        features.add(charc +charc3  +"::cn2"); // c[0]c[2]
        features.add(charp +charc  +"::pc"); // c[-1]c[0]
        features.add(charp +charc2  +"::pn"); // c[-1]c[1]
        features.add(charp2 +charp  +"::p2p"); // c[-2]c[-1]
        features.add(charp2 +charc  +"::p2c"); // c[-2]c[0]
        features.add(charc2 +charc  +"::n2c"); // c[1]c[0]
    }

    // 三个字符c[-1]c[0]c[1]对应的LBeginAnnotation、LMiddleAnnotation、LEndAnnotation 三种label特征
    // 结果特征分别以6种形式结尾，"-lb", "-lm", "-le", "-plb", "-plm", "-ple", "-c2lb", "-c2lm", "-c2le"
    // null || ".../models/segmenter/chinese/dict-chris6.ser.gz"
    if (flags.dictionary != null || flags.serializedDictionary != null) {
        dictionaryFeaturesC(CoreAnnotations.LBeginAnnotation.class,
                CoreAnnotations.LMiddleAnnotation.class,
                CoreAnnotations.LEndAnnotation.class,
                "", features, p, c, c2);
    }

    // 特征 c[1]c[0], c[1]
    if (flags.useFeaturesC4gram || flags.useFeaturesC5gram || flags.useFeaturesC6gram) {
        features.add(charp2 + charp + "p2p");
        features.add(charp2 + "p2");
    }

    // Unicode特征
    if (flags.useUnicodeType || flags.useUnicodeType4gram || flags.useUnicodeType5gram) {
        features.add(uTypep + "-" + uTypec + "-" + uTypec2 + "-uType3");
    }

    // UnicodeType特征
    if (flags.useUnicodeType4gram || flags.useUnicodeType5gram) {
        features.add(uTypep2 + "-" + uTypep + "-" + uTypec + "-" + uTypec2 + "-uType4");
    }

    // UnicodeBlock特征
    if (flags.useUnicodeBlock) {
        features.add(p.getString(CoreAnnotations.UBlockAnnotation.class) + "-"
                + c.getString(CoreAnnotations.UBlockAnnotation.class) + "-"
                + c2.getString(CoreAnnotations.UBlockAnnotation.class)
                + "-uBlock");
    }

    // Shape特征
    if (flags.useShapeStrings) {
        if (flags.useShapeStrings1) {
            features.add(p.getString(CoreAnnotations.ShapeAnnotation.class) + "ps");
            features.add(c.getString(CoreAnnotations.ShapeAnnotation.class) + "cs");
            features.add(c2.getString(CoreAnnotations.ShapeAnnotation.class) + "c2s");
        }
        if (flags.useShapeStrings3) {
            features.add(p.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + "pscsc2s");
        }
        if (flags.useShapeStrings4) {
            features.add(p2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + p.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + "p2spscsc2s");
        }
        if (flags.useShapeStrings5) {
            features.add(p2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + p.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c2.getString(CoreAnnotations.ShapeAnnotation.class)
                    + c3.getString(CoreAnnotations.ShapeAnnotation.class)
                    + "p2spscsc2sc3s");
        }
    }
}

Gale2007ChineseSegmenterFeatureFactory::featuresCpC() {}

Gale2007ChineseSegmenterFeatureFactory::featuresCnC() {}

三大类特征分别以“|C”为结尾（共计有32个）、以“|CpC”结尾（共计有37个）、以“|CnC”结尾（共计有9个）；总计78个特征。个人感觉CoreNLP定义的特征过于复杂，大部分特征并没有什么用。CoreNLP后面处理流程跟其他分词器别无二样了，求每个label的权重加权之和，Viterbi解码求解最大概率路径，解析label序列得到分词结果。

CoreNLP分词速度巨慢，效果也一般，在PKU、MSR测试集上的表现如下：

测试集分词器准确率召回率F1
PKUthulac4j0.9480.9360.942
CoreNLP0.9010.8940.897
MSRthulac4j0.8660.8960.881
CoreNLP0.8220.8590.840

3.参考资料

[1] Huihsin, Tseng, et al. "A conditional random field word segmenter." Fourth SIGHAN Workshop. 2005.
[2] Chang, Pi-Chuan, Michel Galley, and Christopher D. Manning. "Optimizing Chinese word segmentation for machine translation performance." Proceedings of the third workshop on statistical machine translation. Association for Computational Linguistics, 2008.

转载于:https://www.cnblogs.com/en-heng/p/8428504.html

weixin_33905756
关注
IKAnalyzer开源轻量级中文分词工具包2012u6
08-04
IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了
开源中文分词工具探析（五）：FNLP
weixin_34221073的博客
03-16 215
FNLP是由Fudan NLP实验室的邱锡鹏老师开源的一套Java写就的中文NLP工具包，提供诸如分词、词性标注、文本分类、依存句法分析等功能。 【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文分词工具探析（三）：Ansj 开源中文分词工具探析（四）：THULAC 开源中文分词工具探析（五）：FNLP ...
corenlp分词 stanford_使用Stanford CoreNLP进行中文分词
weixin_39847034的博客
12-21 599
所以可以直接配置gradle依赖。对不同的语言通过classifier选择对应的model。其中models是其他语言models的基础，默认可以处理English，必须引入。我们需要处理中文，所以还需要：models-chinese。然而models和models-chinese两个包很大，下载有点慢(对网速自信的童鞋可以无视“然而”)。所以我就用迅雷下载好通过本地文件引入。// Apply t...
Stanford CoreNLP 进行中文分词
热门推荐
macanv的专栏
06-10 1万+
Stanford CoreNLP 进行中文分词中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用Stanford CoreNLP进行中文分词的学习笔记。1. 工具准备1.1 下载NLP相关包：网址： https://stanfordnlp.github.io/CoreNLP/index.html 需要下载的包看下图： 1.2 准备jar包将下载下来
corenlp分词 stanford_开源中文分词工具探析（六）：Stanford CoreNLP
weixin_29046035的博客
02-01 770
CoreNLP是由斯坦福大学开源的一套Java NLP工具，提供诸如：词性标注(part-of-speech (POS) tagger)、命名实体识别(named entity recognizer (NER))、情感分析(sentiment analysis)等功能。【开源中文分词工具探析】系列：1. 前言CoreNLP的中文分词基于CRF模型：\[P_w(y|x) = \frac{exp \l...
Stanford CoreNLP:斯坦福 CoreNLP，核心 NLP 工具的 Java 套件-开源
08-07
CoreNLP 目前支持 6 种语言，阿拉伯语、中文、英语、法语、德语和西班牙语。 CoreNLP 的核心是管道。 管道接收原始文本，对文本运行一系列 NLP 注释器，并生成最终的一组注释。 管道产生 CoreDocument，这是包含...
stanford-corenlp：Stanford CoreNLP的Python包装器
02-24
斯坦福大学 stanfordcorenlp是的Python包装器。 它提供了用于文本处理任务的简单API，例如令牌化，语音标记，命名实体重新命名，选区解析，依赖项解析...nlp = StanfordCoreNLP ( r'G:\JavaLibraries\stanford-corenl
pynlp：Stanford CoreNLP的pythonic包装器
02-03
从官方下载Stanford CoreNLP。 解压缩文件，并将您的CORE_NLP环境变量设置为指向目录。 从pip安装pynlp pip3 install pynlp 快速开始 启动服务器 使用给出的指令对StanfordCoreNLPServer进行劳改。 或者，只需...
几款开源的中文分词系统
10-27
中文分词是做好中文内容检索、文本分析的基础，主要应用于搜索引擎与数据挖掘领域。中文是以词为基本语素单位，而词与词之间并不像英语一样有空格来分隔，因而中文分词的难点在于如何准确而又快速地进行分词
使用stanford-corenlp的python接口分词，并清洗结果
04-28
使用stanford-corenlp的python接口，实现自动保存分词（词性标注）结果的python脚本。 自己更改目录及配置端口即可使用。
斯坦福大学的分词工具
09-20
非常著名的斯坦福大学的有关分词方面的工具，非常好用
corenlp分词 stanford_StanfordCoreNLP的简单使用
weixin_39875419的博客
12-21 211
前提条件：电脑上安装有jdk，最好新一点吧，jdk1.8以上。1.pip install stanfordcorenlp2.去官网https://stanfordnlp.github.io/CoreNLP/下载两个东西，如图：一个是最新版的CoreNLP，一个是中文包。3.下载后解压前者，把中文包(.jar文件)放在前者解压后的文件夹。然后注意，一定要把中文包重命名一下。因为整个的工具都是Java...
stanfordcorenlp 句法分析_Stanford CoreNLP 入门指南
weixin_39534100的博客
11-23 1501
最近一直在写毕业论文，因为是一个基于语料库分析的题目，所以牵扯到了词性标注、句法分析等等内容。在一番查找之后，决定用 Stanford CoreNLP 来进行处理，一方面是因为这个工具本身功能齐全，另一方面也是因为这个工具比较容易上手使用。在使用过程中慢慢发现目前这一工具的中文教程或者说明还比较不完善，大多数教程都是复制来复制去的几张图，很多需要注意的地方都没有涉及，所以决定写一篇文章来总结一下这...
使用Stanford-CoreNLP命令行进行分词
最新发布
Talk Is Cheap
05-29 162
建议看源码使用 https://github.com/stanfordnlp/CoreNLP/blob/main/src/edu/stanford/nlp/international/arabic/process/ArabicTokenizer.java。接上文 https://blog.csdn.net/guotong1988/article/details/136652691。
用Stanford Parse（智能语言处理）去实现分词器
weixin_43813200的博客
07-21 313
重新定义一个新的分词器，实现Analyzer类，重写其TokenStreamComponentscreateComponents方法。lucene版本lucene4.10.3，引入jar包stanford-parser-3.3.0-models.jar，stanford-parser.jar。TokenStreamComponents以组件的形式包含的lucene3.x版本的filter和tokenizer。//位置增量的属性，存储词之间的距离。//记录最后一个词元的结束位置。...
NLP自然语言处理中英文分词工具集锦与基本使用 jieba,snowNLP ,StanfordCoreNLP,thulac等
种花家的奋斗兔的博客
03-20 6232
目录 NLP分词工具集锦 分词实例用文件 一、中文分词工具 （1）Jieba （2）snowNLP分词工具 （3）thulac分词工具 （4）pynlpir 分词工具 （5）StanfordCoreNLP分词工具 （6）Hanlp分词工具 二、英文分词工具 1. NLTK： 2. SpaCy： 3. StanfordCoreNLP： NLP分词工具集锦 分词实例用文件...
使用斯坦福分词器进行词性标注
weixin_52334522的博客
05-06 2955
使用斯坦福分词器进行词性标注 文章目录使用斯坦福分词器进行词性标注前言中文分词是中文文本处理的一个基础步骤，同时也是中文人机自然语言交互的基础模块，与英文不同的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算
如何安装stanford corenlp中文分词
05-16
安装Stanford CoreNLP中文分词需要以下步骤： 1. 下载Stanford CoreNLP的最新版本（下载链接：https://stanfordnlp.github.io/CoreNLP/）。 2. 下载中文模型文件（下载链接：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值