stanford-segmenter一个简单例子

最新推荐文章于 2024-08-22 09:34:07 发布
最新推荐文章于 2024-08-22 09:34:07 发布
阅读量2.5k 收藏
点赞数
分类专栏： NLP 文章标签： 斯坦福大学 nlp 分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zl19890124/article/details/46706273
版权
本文介绍了如何使用Stanford Segmenter进行分词。首先，该工具支持阿拉伯语和汉语，基于CRFs的原理。步骤包括：创建项目，放置所需文件，确保使用JDK 1.8。在代码运行配置中设置VM参数以避免内存问题。通过示例展示运行结果，同时指出当处理中文输出时可能需要调整控制台编码以避免乱码。
摘要由CSDN通过智能技术生成

1.简介

stanford分词目前支持 Arabic 和 Chinese。它的原理是基于CRFs, CRFs分词的原理不难懂，就是把分词当作另一种形式的命名实体识别，利用特征建立概率图模型后，用Veterbi算法求最短路径。stanford nlp提供了源码demo,目前的版本是3.5.2。

下载地址：http://nlp.stanford.edu/software/segmenter.shtml

2.例子

step1: 新建project，将下载的stanford-segmenter-2015-04-20.zip解压，把解压后的arabic,data文件夹以及3个jar包和test.simp.utf8都复制到新建的project的根目录下，把SegDemo.java放到src源代码目录下。（注意：JDK需要1.8）如下图所示

最低0.47元/天 解锁文章
sure-fire
关注
专栏目录
stanford-segmenter-2018-10-16.zip
05-07
StanfordCoreNLP适用于以下情形: 一个具有广泛语法分析工具集成的NLP工具包； 一种广泛应用于生产中的快速、健壮的任意文本注释器； 一个现代化的具有全面高质量的文本分析功能的、定期更新的软件包
Stanford Word Segmenter使用
weixin_30636089的博客
07-19 223
1,下载 Stanford Word Segmenter软件包； Download Stanford Word Segmenter version 2014-06-16 2，在eclipse上建立一个Project StanfordSegmenter。解压Stanford Word Segmenter软件包，将其中的data,arabic，test.sipe.utf8文件夹复制到项目下。 ...
Segmenter：基于Transformer的语义分割神器
最新发布
gitblog_00417的博客
08-22 494
Segmenter：基于Transformer的语义分割神器 segmenter[ICCV2021] Official PyTorch implementation of Segmenter: Transformer for Semantic Segmentation项目地址:https://gitcode.com/gh_mirrors/se/segmenter 在计算机视觉领域，语义分割是一项...
使用Stanford Word Segmenter and Stanford Named Entity Recognizer (NER)实现中文命名实体识别
热门推荐
以家为家，以乡为乡，以国为国，以天下为天下
01-08 2万+
一、分词介绍 http://nlp.stanford.edu/software/segmenter.shtml 斯坦福大学的分词器，该系统需要JDK 1.8+，从上面链接中下载stanford-segmenter-2014-10-26，解压之后，如下图所示 ，进入data目录，其中有两个gz压缩文件，分别是ctb.gz和pku.gz，其中CTB：宾州大学的中国树库训练资料 ，PKU：中国北京
stanford-segmenter的使用
hikaru_go的博客
04-04 2237
对于中文的自然语言处理任务来说，分词似乎已经是第一步了，因为深度学习想要使用词向量的话，分词基本是第一步，除非我们基于单个中文单词，当然这看具体的模型了。 所以我们需要一个好的分词工具，stanford-segmenter就是一个不错的分词工具，当然也有很多优秀的其他分词工具，具体用哪个看个人爱好，本文将介绍stanford-segmenter的使用。 我使用的工具包是“stanford-segme
斯坦福命名实体识别（Stanford Named Entity Recognizer）
yangyangrenren的专栏
01-24 1万+
Stanford Named Entity Recognizer
Stanford Corenlp中文分词自定义词典（扩展词典）
u013578877的博客
08-22 6684
Stanford Corenlp是斯坦福大学的自然语言处理工具，其中中文分词是基于条件随机场CRF (Conditional Random Field) ，不是基于字典的直接匹配。最近调用Stanford Word Segmenter进行中文分词时，发现一些tokens切割不符合我们的预期，比如“大数据”被切分为“大 / 数据”，“信息安全”切分为“信息 / 安全”， “草泥马”被切分为草 / ...
使用Stanford NLP software进行中文文本预处理
sunfoot001的专栏
02-24 7156
中文文本预处理的几个主要步骤有： 中文分词，词性标注，生成词向量，生成中文依存语法树。 Stanford NLP software是Stanford NLP小组提供的一个NLP处理工具集合，部分工具支持中文的处理。 该工具包是基于JAVA开发的。 1. 中文分词： 我下载的是stanford-segmenter-2015-12-09分词包。 解压缩后，直接运行内置到例子，如下
提高信息检索系统性能：词频-逆文档频率的进阶应用
随着互联网的快速发展和信息量的急剧增加，用户面临着海量的信息，如何快速、准确地获取所需信息成为了一个重要的问题。信息检索系统可以帮助用户从海量文本中检索到相关的信息，提高检索效率和准确性。 ### 1.2 ...
standford nlp 教程
FREEDOM
03-29 9067
githubhttps://github.com/stanfordnlp/CoreNLP 官网：http://stanfordnlp.github.io/CoreNLP/simple.html 功能： SummaryAnnotator dependenciesTokenizationSentence SplittingLemmatizationParts of Spee
Stanford Word Segmenter
weixin_33910385的博客
11-06 175
The Stanford NLP (Natural Language Processing) GroupStanford Word Segmenter
Stanford-segmenter的简单学习
weixin_34059951的博客
07-29 155
   这段时间开始学习中文分词的原理，其目的也在于从最基础的地方开始自然语言处理的学习。虽然中文分词经过10多年的研究，已经很难在上面开花结果了。但我个人觉得这是最能锻炼自然语言基础的地方。从HMM模型、MaxEnt模型到CRFs模型，中文分词的研究，浓缩了自然语言处理的发展史。    CRFs分词的原理不难懂，就是把分词当作另一种形式的命名实体识别，利用特征建立概率图模型后，用Veterbi算...
stanford-segmenter中文分词基本使用
yangyangrenren的专栏
01-25 7373
stanford-segmenter中文分词基本使用
Stanford Segmenter 中文分词尝试
weixin_34336526的博客
12-28 281
Stanford Segmenter是Stanford大学的一个开源分词工具，目前已支持汉语和阿拉伯语，只是比较耗费内存，但貌似比中科院的分词工具快（具体没测）。Stanford Segmenter是基于CRF（Conditional Random Field，条件随机场），CRF是一个机器学习算法，其原理是字构成词，利用此原理把分词当做字的词位分类问题，其具...
Stanford Segment 使用笔记
dyc773912355的博客
03-04 2472
斯坦福分词器对搜狗简化版语料库分词处理步骤： 1、读取语料库 2、对文件逐个分词 3、每个文件分词完的同时存盘到指定路径 package com.Seg; import java.io.*; import java.util.List; import java.util.Properties; import edu.stanford.nlp.ie.crf.CRFClassifier;
[NLP]1.StanfordNLP的安装和初探
Forgive Me
01-18 8110
简介Stanford CoreNLP提供了一系列自然语言分析工具。它能够给出基本的词形，词性，不管是公司名还是人名等，格式化的日期，时间，量词，并且能够标记句子的结构，语法形式和字词依赖，指明那些名字指向同样的实体，指明情绪，提取发言中的开放关系等。 如果需要进行如下任务，Standfrod CoreNLP正合适： 1.一个集成的语言分析工具集； 2.进行快速，可靠的任意文本分析； 3.整体
stanfordsegment添加自定义词典
claire12579的博客
11-13 252
stanford添加自定义词典 下载 stanford-segmenter-2018-10-16 命令行 运行 java -mx1g -cp stanford-segmenter-3.9.2.jar edu.stanford.nlp.ie.crf.CRFClassifier -sighanCorporaDict data -loadClassifier data/ctb.gz -testFile preprocess-$1.txt -inputEncoding UTF-8 -sighanPostProces
Stanford下载
凌飞安
11-15 317
Stanford下载下载地址请到官网选择要下载的版本 下载地址请到官网 https://nlp.stanford.edu/software/segmenter.shtml 选择要下载的版本 下拉到底下选择需要下载的版本，点击下载即可 ...
stanford-sentiment-treebank数据
09-18
Stanford-sentiment-treebank（斯坦福情感树库）是一个用于情感分析的数据集。这个数据集由斯坦福大学的研究人员创建，并用于训练和测试情感分析模型。 Stanford-sentiment-treebank的数据集包含了超过11,855个句子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值