在windows系统中使用backoff2005的测试脚本来测试分词结果

最新推荐文章于 2020-11-20 20:13:16 发布
最新推荐文章于 2020-11-20 20:13:16 发布
阅读量412 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33674976/article/details/85087517
版权
本文介绍了如何在Windows系统中使用backoff2005的测试脚本来测试分词结果。首先需要安装Perl开发环境和diff工具，接着修改score脚本中的相关路径，最后在指定目录执行测试命令，完成分词效果的评估。
摘要由CSDN通过智能技术生成

分词程序的测试一般用backoff2005的脚本，但是backoff2005脚本是运行在linux系统上的。如果在windows系统中时，怎么使用该脚本呢？假设用户已经有了icwb2-data压缩包了。

首先得安装perl开发环境。下载地址：

https://dwimperl.googlecode.com/files/dwimperl-5.14.2.1-v7-32bit.exe
接下来，需要安装diff工具，下载地址：

http://superb-dca3.dl.sourceforge.net/project/gnuwin32/diffutils/2.8.7-1/diffutils-2.8.7-1-bin.zip

把diff工具解压到E:\diffutils目录下即可，然后把E:\diffutils\bin目录添加到系统的环境变量中。

 

接下来，就需要对icwb2-data/script/score脚本进行修改：

把46

最低0.47元/天 解锁文章
weixin_33674976
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《自然语言处理实战入门》第三章 ：中文分词原理及相关组件简介 ---- 分词效果评测最佳实践
shiter编写程序的艺术
07-24 1272
汉语分词技术----以jieba 分词为例 以我认为使用起来最友好的jieba 分词为例，我们来认识一下基于统计类算法的汉语分词流程。 图片中例子参考：http://www.cnblogs.com/zhbzz2007/p/6076246.html Jieba分词的特点 结巴分词安装好即可使用，自带一个35w 的语料库，其中标注了汉语常见词汇的词频，和词性。 概况来说，结巴分词主要有以下三个特点...
统计中分分词(CRF)
ahmanz的博客
04-21 1710
下面利用条件随机场的统计分词算法。第一步：工具包准备利用CRF++工具包，下载编译安装。同时，在其python目录下执行python包安装。第二步：语料准备还是利用backoff2005的熟语料进行加工，成为CRF++需要的语料格式，如： “ S 人 B 们 E 常 S 说 S 生 B 活 E 是 S 一 S 部 S ” 这里加工北京大学提供的训练语料(icwb2-data\
SIGHAN国际汉语分词数据集backoff2005
05-08
2nd International Chinese Word Segmentation Bakeoff - Data Release Release 1, 2005-11-18 * Introduction This directory contains the training, test, and gold-standard data used in the 2nd International Chinese Word Segmentation Bakeoff. Also included is the script used to score the results submitted by the bakeoff participants and the simple segmenter used to generate the baseline and topline data.
windows下perl使用
weixin_30505485的博客
04-18 610
windows下perl使用 windows下perl开发工具 Perl 的官方网址提供下载的windows perl开发环境 ActiveState Perl Strawberry Perl DWIM Perl for Windows 本文讲解ActiveStatePerl环境 ActiveStatePerl包的安装PPM（使用Perl Package Manager） 在Vi...
tp数组转为json_实战中vue如何向后端数据库存取json数组型数据
weixin_39603622的博客
11-20 484
最近在为医院做一套简单的PEIS体检系统，在录入费用的时候，一条费用一条数据总感觉很麻烦，数据多了直接看数据库也比较混乱，我经常直接看数据库，于是改成json的格式来存储费用相关的数据，[{"id":1},{"id":2}]大致这种格式，先说说项目的基本情况。 服务器采用的是lnmp，后端框架使用ThinkPHP6,前端使用Element-vue来处理，都知道对于php来说将数组存储到数据库，只需...
CRFPP 语言处理
凡尘雪的博客
04-04 3718
本文运用字标注法进行中文分词，使用4-tag对语料进行字标注，观察分词效果。模型方面选用开源的条件随机场工具包“CRF++: Yet Another CRF toolkit”进行分词。         本文使用的中文语料资源是SIGHAN提供的backoff 2005语料，目前封闭测试最好的结果是4-tag+CFR标注分词，在北大语料库上可以在准确率，召回率以及F值上达到92%以上的
Ubuntu下最大熵实现中文分词
Cornan_的博客
05-29 811
                            最大熵模型实现中文分词一、实验环境1.1Ubuntu 16.4 LTS(Linux)1.2python2本实验完全在Linux环境(Ubuntu 64位)下使用python脚本和命令行实现实验结果输入文本。 二、实验材料2.1语料库本实验采用SIGHAN提供的backoff2005语料进行训练和测试。 三、第三方工具包张乐博士最大熵工具包 四...
CRF++进行中文分词实例
weixin_30482383的博客
12-02 972
工具包：https://taku910.github.io/crfpp/#tips 语料：http://sighan.cs.uchicago.edu/bakeoff2005/ 安装： 1）下载linux版本CRF++包-----CRF++-0.58.tar.gz，并解压。 2）cd CRF++-0.58 3）./configure 4)sudo make 5)sudo make i...
统计中文分词（最大熵）
ahmanz的博客
04-08 3791
在机器学习中，序列标注(Sequence labeling)是一种常见的模式识别任务，它用来给一组可观察对象打上状态（类别）标签。它可以解决NLP中的分词(Word Segement)、词性标注（Part-Of-Speech Tagging）、命名实体识别(Named Entity Recognition )等问题。常见的统计算法模型有：HMM、MEMM、CRF。 下面介绍利用最大熵统计算法进行分
SIGHAN 2006 Bakeoff-3中文语料
05-19
著名的Sighan Bakeoff语料。包含了训练集、测试集及测试集的（黄金）标准切分。
dwimperl-5.14.2.1
10-16
官网下载不了，padre IDE软件，Perl开发环境。在这里分享给大家。
Microsoft Ajax Minifier 5.14.5506.26196
05-31
Microsoft Ajax Minifier 5.14.5506.26196
KEPServerEX V5.14.493.0.part1
06-09
Kepware公司的KEPServerEX OPC 服务器
icwb2-data:该目录包含第二次国际汉语分词测试中使用的培训，测试和金标准数据。 还包括用于对烘烤参与者提交的结果进行评分的脚本以及用于生成基线和顶线数据的简单分段器
05-17
icwb2-data Source : SIGHAN是国际计算语言学会（ACL）中文语言处理小组的简称，其英文全称为“Special Interest Group for Chinese Language Processing of the Association for Computational Linguistics”，又可以理解为“SIG汉“或“SIG汉“。而Bakeoff则是SIGHAN所主办的国际中文语言处理竞赛，第一届于2003年在日本札幌举行（Bakeoff 2003),第二届于2005年在韩国济州岛举行(Bakeoff 2005), 而2006年在悉尼举行的第三届（Bakeoff 2006）则在前两届的基础上加入了中文命名实体识别评测。目前SIGHAN Bakeoff已成功举办了6届，其中Bakeoff 2005的数据和结果在其主页上是完全免费和公开的，但是请注意使用
开源中文切词工具介绍
yuhentian的专栏
10-06 7071
这里介绍常用的开源中文分词工具，大部分是java实现，其他也有C++、python等。
用条件随机场CRF进行字标注中文分词（Python实现）
时空霹雳的专栏
08-13 2万+
本文运用字标注法进行中文分词，使用4-tag对语料进行字标注，观察分词效果。模型方面选用开源的条件随机场工具包“CRF++: Yet Another CRF toolkit”进行分词。         本文使用的中文语料资源是SIGHAN提供的backoff 2005语料，目前封闭测试最好的结果是4-tag+CFR标注分词，在北大语料库上可以在准确率，召回率以及F值上达到92%以上的效果，在
NLP+词法系列（一）︱中文分词技术小结、几大分词引擎的介绍与比较
热门推荐
素质云笔记
11-25 4万+
笔者想说：觉得英文与中文分词有很大的区别，毕竟中文的表达方式跟英语有很大区别，而且语言组合形式丰富，如果把国外的内容强行搬过来用，不一样是最好的。所以这边看到有几家大牛都在中文分词以及NLP上越走越远。哈工大以及北大的张华平教授（NLPIR）的研究成果非常棒！ 但是商业应用的过程中存在的以下的问题： 1、是否先利用开源的分词平台进行分词后，再自己写一些算法进行未登录词、歧义词的识别？ 2、或
$?用于测试脚本中的命令结果
韩王-信
08-29 490
echo "below test $?" mkidfsdff echo $? a=102 echo $?
keepalive_backoff
最新发布
06-26
`KeepaliveBackoff`通常是指网络连接中的一种重试策略，当网络连接失败时，它会设置一个延迟（backoff）时间，然后尝试重新建立连接。这个延迟随着时间逐渐增加，以避免过于频繁地发送无效的请求，从而节省带宽和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值