stanford-segmenter中文分词基本使用

最新推荐文章于 2020-11-23 03:15:50 发布
最新推荐文章于 2020-11-23 03:15:50 发布
阅读量7.3k 收藏 5
点赞数
分类专栏： NLP 文章标签： stanford segmenter 中文分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyangrenren/article/details/54730783
版权

首先进入http://nlp.stanford.edu/software/segmenter.shtml#Download 下载stanford-segmenter-2016-10-31.zip，解压之后，进入目录中，查看README-Chinese.txt文件。

命令行操作

进入到解压后的文件目录中，输入下面代码

./segment.sh pku test.simp.utf8 UTF-8 0

可以看到如下结果
Stanford segmenter结果

eclipse中操作

新建一个java工程，将下载的压缩包解压后的arabic,data文件夹，文件test.simp.utf8，复制到java的工程下，并且java工程引用这三个jar文件：stanford-segmenter-3.7.0.jar、stanford-segmenter-3.7.0-javadoc.jar、stanford-segmenter-3.7.0-sources.jar。注意，eclipse中的java版本要求是1.8版本之上的。将解压之后的SegDemo.java文件，复制到工程之中。操作完成之后，eclipse是类似下面这张图片左边的样子。

eclipse中进行Stanford segmenter

j为SegDemo.java的运行添加参数“test.simp.utf8”，在工程目录上，右键Run As -> Run Configurations，在program arguments下面写上“test.simp.utf8”即可。
这里写图片描述
运行结果如第一张图片所示。

假设因为工程运行所需内存较大，而系统为java提供的内存不满足其要求，那么做以下操作即可
在当前页面Run As -> Run Configurations,在VM arguments中写入参数，由于Stanford-Sementer占用的内存比较大，所以需要设置VM arguments,不然就会超内存。在VM arguments:下面填写“-Xms512m -Xmx1024m”。[参考网页1]
假设出现编码错误，那么请设置工程的编码为utf-8。建议：最好对eclipse的默认编码设置为utf-8格式。

备注

  1. 在文章中使用时候，注意添加以下参考Pi-Chuan Chang, Michel Galley and Chris Manning. 2008. Optimizing Chinese Word Segmentation for Machine Translation Performance. In WMT.
  2. http://nlp.stanford.edu/pubs/sighan2005.pdf 这是1中的文章
  3. 此工具，还实现了对阿拉伯语的分词。并且为其他编程语言提供了Stanford Word Segmenter的package，如python，F#/C#/.NET，都可以在http://nlp.stanford.edu/software/segmenter.shtml 这个页面上查看相关说明以及下载使用。

参考网页
1. http://www.cfanz.cn/index.php?c=article&a=read&id=272910
2. http://blog.csdn.net/shijiebei2009/article/details/42525091
这个网页对NER与分词都作了介绍，而且作为一个整体一起使用。

yangyangrenren
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
stanford-segmenter一个简单例子
sure-fire的专栏
07-01 2582
1.简介 stanford分词目前支持 Arabic 和 Chinese。它的原理是基于CRFs, CRFs分词的原理不难懂，就是把分词当作另一种形式的命名实体识别，利用特征建立概率图模型后，用Veterbi算法求最短路径。stanford nlp提供了源码demo,目前的版本是3.5.2。 下载地址：http://nlp.stanford.edu/software/segmenter.s
stanford-segmenter-3.6.0.jar
05-09
stanford-segmenter-3.6.0.jar
stanford-segmenter的使用
hikaru_go的博客
04-04 2230
对于中文的自然语言处理任务来说，分词似乎已经是第一步了，因为深度学习想要使用词向量的话，分词基本是第一步，除非我们基于单个中文单词，当然这看具体的模型了。 所以我们需要一个好的分词工具，stanford-segmenter就是一个不错的分词工具，当然也有很多优秀的其他分词工具，具体用哪个看个人爱好，本文将介绍stanford-segmenter的使用。 我使用的工具包是“stanford-segme
Stanford 中文分词
Sigh～
06-27 5838
http://nlp.stanford.edu/software/segmenter.shtml https://github.com/jiekechoo/NLPStudy http://blog.csdn.net/shijiebei2009/article/details/42525091 貌似实际用的不是这几篇。中间2. github上那篇，是怎么在maven中使用，通过properties文件
使用Java调用Stanford CoreNLP 进行中文分词
飞星恋的博客
11-21 9260
Stanford CoreNLP 进行中文分词 中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用Stanford CoreNLP进行中文分词的学习笔记。 1. 工具准备 1.1 下载NLP相关包： 网址： https://stanfordnlp.github.io/CoreNLP/index.html  需要下载的包看下图：  1.2 准备j...
Stanford CoreNLP 进行中文分词
热门推荐
macanv的专栏
06-10 1万+
Stanford CoreNLP 进行中文分词中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用Stanford CoreNLP进行中文分词的学习笔记。1. 工具准备1.1 下载NLP相关包：网址： https://stanfordnlp.github.io/CoreNLP/index.html 需要下载的包看下图： 1.2 准备jar包将下载下来
stanford-segmenter-2018-10-16.zip
05-07
StanfordCoreNLP适用于以下情形: 一个具有广泛语法分析工具集成的NLP工具包； 一种广泛应用于生产中的快速、健壮的任意文本注释器； 一个现代化的具有全面高质量的文本分析功能的、定期更新的软件包
stanford-corenlp-3.9.2-models.jar
05-09
stanford-corenlp-3.9.2-models.jar
stanford-corenlp-full-2014-08-27
08-27
CoreNLP使用了精确的英文分词算法，能够处理复杂的标点符号和连接词情况。 2. **词性标注**（Part-of-Speech Tagging）：识别每个词汇的语法角色，如名词、动词、形容词等，这对于理解句子结构至关重要。 3. **...
stanford-corenlp-full-2015-12-09.zip
07-19
使用"stanford-corenlp-full-2015-12-09"这个版本的用户，可以通过Java API或命令行界面与工具包进行交互。在实际应用中，开发者通常会结合自己的项目需求，选择合适的工具包功能进行集成，以实现高效且精准的文本...
stanford chinese segmentor
04-10
Tokenization of raw text is a standard pre-processing step for many NLP tasks. For English, tokenization usually involves punctuation splitting and separation of some affixes like possessives. Other languages require more extensive token pre-processing, which is usually called segmentation. The Stanford Word Segmenter currently supports Arabic and Chinese. The provided segmentation schemes have been found to work well for a variety of applications. The system requires Java 1.6+ to be installed. We recommend at least 1G of memory for documents that contain long sentences. For files with shorter sentences (e.g., 20 tokens), decrease the memory requirement by changing the option java -mx1g in the run scripts. Arabic Arabic is a root-and-template language with abundant bound morphemes. These morphemes include possessives, pronouns, and discourse connectives. Segmenting bound morphemes reduces lexical sparsity and simplifies syntactic analysis. The Arabic segmenter model processes raw text according to the Penn Arabic Treebank 3 (ATB) standard. It is a stand-alone implementation of the segmenter described in: Spence Green and John DeNero. 2012. A Class-Based Agreement Model for Generating Accurately Inflected Translations. In ACL. Chinese Chinese is standardly written without spaces between words (as are some other languages). This software will split Chinese text into a sequence of words, defined according to some word segmentation standard. It is a Java implementation of the CRF-based Chinese Word Segmenter described in: Huihsin Tseng, Pichuan Chang, Galen Andrew, Daniel Jurafsky and Christopher Manning. 2005. A Conditional Random Field Word Segmenter. In Fourth SIGHAN Workshop on Chinese Language Processing. Two models with two different segmentation standards are included: Chinese Penn Treebank standard and Peking University standard. On May 21, 2008, we released a version that makes use of lexicon features. With external lexicon features, the segmenter segmen
基于CRFs 的中文分词和短文本分类技术.pdf
01-04
本文的工作主要包括两部分：第一部分，我们借用了文本分类领域的特征选择算法对中文分词中的特征进行分析。分析结果表明，特征选择算法在中文分词的任务中也是适用的。在中文分词领域，基于字标注的方法得到广泛应用。通过字标注系统，中文分词任务被转换为序列标注任务，许多成熟的机器学习算法得以应用。评测结果表明，在众多的机器学习算法中，基于CRFs的分词器可以达到state-of-the-art的分词效果。CRFs分词器对于给出的每一个切分，都可以提供置信度。在本文中，我们深入调研了CRFs提供的置信度，在此基础上，提供了一种基于置信度的后处理中文分词算法。三个不同数据集上的实验结果证明，我们的算法是有效的。另一方面，我们对未登录词(OOV)在上下文中的分布进行观察，提出了一种基于篇章内部信息和CRFs置信度的OOV识别方法，可以进一步提高中文分词的准确度。 第二部分，我们借用了中文文本分类中的字标注算法来解决短文本分类问题。通过标注算法，可以将短文本分类问题转化为序列标注问题，这样CRFs就可以用于短文本分类任务中。实验结果表明，基于CRFs的短文本分类器可以达到更高的分类精度。
Stanford-segmenter的简单学习
weixin_34059951的博客
07-29 147
   这段时间开始学习中文分词的原理，其目的也在于从最基础的地方开始自然语言处理的学习。虽然中文分词经过10多年的研究，已经很难在上面开花结果了。但我个人觉得这是最能锻炼自然语言基础的地方。从HMM模型、MaxEnt模型到CRFs模型，中文分词的研究，浓缩了自然语言处理的发展史。    CRFs分词的原理不难懂，就是把分词当作另一种形式的命名实体识别，利用特征建立概率图模型后，用Veterbi算...
NLP——斯坦福分词工具简单使用
smallhc的博客
10-08 5173
本例主要演示斯坦福的中文分词工具包stanford-segmenter.jar 下载地址 解压后如下： 创建好项目 将data文件夹导入到项目根目录下 导入jar包 SegDemo.java文件则是演示文件 注意事项 SegDemo执行的时候要读取data中的内容 查阅源代码发现，最后返回的分词集合segmented是数组转换成的（Arrays.asList()），不可进行修改。所以需要用li...
浅谈IK中文分词器的使用
学无止境！
07-07 812
1、引入依赖 <dependency> <groupId>com.janeluo</groupId> <artifactId>ikanalyzer</artifactId> <version>2012_u6</version> </dependency> 2、IKUtil工具类 import com.asiainfo.biapp.aiop.web.product.config.
Stanford Word Segmenter使用
weixin_30636089的博客
07-19 215
1,下载 Stanford Word Segmenter软件包； Download Stanford Word Segmenter version 2014-06-16 2，在eclipse上建立一个Project StanfordSegmenter。解压Stanford Word Segmenter软件包，将其中的data,arabic，test.sipe.utf8文件夹复制到项目下。 ...
【segmentation & parsing & dependency parsing & NER】nltk调用stanford NLP工具包
己亥孟陬
05-15 2380
环境：win 7 + python 3.5.2 + nltk 3.2.1Chinese word segmentation前期准备 下载stanford-segmenter-2015-12-09（2016版的stanford segmenter与nltk接口不兼容），解压，将根目录下的stanford-segmenter-3.6.0.jar，slf4j-api.jar，data文件夹拷贝到某个文件
stanfordcorenlp 句法分析_Stanford CoreNLP 入门指南
weixin_39534100的博客
11-23 1432
最近一直在写毕业论文，因为是一个基于语料库分析的题目，所以牵扯到了词性标注、句法分析等等内容。在一番查找之后，决定用 Stanford CoreNLP 来进行处理，一方面是因为这个工具本身功能齐全，另一方面也是因为这个工具比较容易上手使用。在使用过程中慢慢发现目前这一工具的中文教程或者说明还比较不完善，大多数教程都是复制来复制去的几张图，很多需要注意的地方都没有涉及，所以决定写一篇文章来总结一下这...
stanford-corenlp-full-2015-12-09
最新发布
07-07
### 回答1： Stanford CoreNLP是一个开源的自然语言处理工具包，提供了一系列的NLP工具和库，用于文本分析、信息提取、语义标注、句法分析等任务。而stanford-corenlp-full-2015-12-09则是这个工具包的一个特定版本。 stanford-corenlp-full-2015-12-09包含了所有Stanford CoreNLP工具和库的完整集合。它包括了多种NLP模型，用于处理不同的语言和任务。这个版本发布于2015年12月09日，并且提供了丰富的功能和性能优化。它支持英语、中文等多种语言的文本处理，并且可以用于词性标注、命名实体识别、关系抽取、情感分析、依存句法分析等多种任务。 使用stanford-corenlp-full-2015-12-09，我们可以通过简单的调用API接口来使用各种NLP功能。它可以处理单个文本、文本集合甚至是大规模的文本数据。我们可以提取文本的关键信息，如实体识别、情感分析和关键词提取等。此外，它还提供了丰富的语言处理技术，如分词、词性标注、命名实体识别和依存句法分析，可以帮助研究人员和开发者进行更深入的文本分析和语义理解。 总而言之，stanford-corenlp-full-2015-12-09是一个功能强大且广泛使用的NLP工具包，提供了多种NLP任务的解决方案。它可以帮助使用者快速准确地分析文本，提取有用的信息，并为后续的文本处理和语义分析任务提供基础支持。 ### 回答2： Stanford CoreNLP是斯坦福大学开发的一款自然语言处理工具包，其完整版2015-12-09是指CoreNLP的一个特定版本，发布于2015年12月9号。Stanford CoreNLP提供了一系列强大的功能，包括分词、词性标注、命名实体识别、句法分析、依存关系分析等。这些功能能够帮助用户对文本进行深入的语言理解和分析。 Stanford CoreNLP使用Java编写，可以通过命令行或API接口进行使用。它支持多种语言，包括英语、中文、阿拉伯语等。用户可以通过简单的调用相应的功能模块，实现对文本的处理和分析。 在中文处理方面，Stanford CoreNLP通过使用中文分词器以及中文词性标注器，能够将中文文本进行分词和词性标注。此外，它还能够进行中文的命名实体识别，例如识别人名、地名、时间等实体。同时，Stanford CoreNLP还提供了句法分析和依存关系分析功能，可以帮助用户理解句子的结构和句法关系。 总之，Stanford CoreNLP完整版2015-12-09是一款功能强大的自然语言处理工具，能够帮助用户对文本进行深入的语言分析和理解。它具有广泛的应用领域，包括信息提取、机器翻译、文本分类等。用户可以使用它来处理中文文本，并通过其提供的多种功能模块对文本进行处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值