基于CRF++0.54搭建中文分词系统

最新推荐文章于 2022-04-12 18:44:34 发布
最新推荐文章于 2022-04-12 18:44:34 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： CRF 文章标签： crf 中文分词 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bala003/article/details/50164663
版权
本文介绍了如何利用CRF++0.54搭建中文分词系统，包括资源下载、CRF的安装、语料处理、模型训练和优化。通过调整参数和模板，最终达到0.962130的准确率。
摘要由CSDN通过智能技术生成


1 资源下载

 CRF源码：点击下载  语料：点击下载


2 准备工作

2.1  CRF 

依次执行以下命令安装CRF：（1） ./configure --prefix=$当前目录（2）make（3） make install


2.2 语料

语料是网上流传的北京大学标注的1981年1月人民日报的语料，自己处理成了crf要求的训练格式如下：

其中，句子与句子之间以空行分隔。第一列为字，第

最低0.47元/天 解锁文章
maryChen
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CRF++进行中文分词实例
weixin_30482383的博客
12-02 971
工具包：https://taku910.github.io/crfpp/#tips 语料：http://sighan.cs.uchicago.edu/bakeoff2005/ 安装： 1）下载linux版本CRF++包-----CRF++-0.58.tar.gz，并解压。 2）cd CRF++-0.58 3）./configure 4)sudo make 5)sudo make i...
CRF++中文分词使用指南
热门推荐
架构和代码
07-27 2万+
1 下载和安装CRF的概念，请google，我就不浪费资源啦。官方地址如下：http://crfpp.sourceforge.net/我用的是Ubutnu，所以，下载的是源码：http://sourceforge.net/projects/crfpp/files/ 下载CRF++-0.54.tar.gz没有gcc/g++/make请安装 % ./configure % make % sudo make install2 测试和体验 在源码包中有example，可以执行./exec.sh体验一下
CRF++使用
VergiL Wang的专栏
12-28 7041
前段时间写了中文分词的一些记录里面提到了CRF的分词方法，近段时间又研究了一下，特把方法写下来，以备忘，另外，李沫南同学优化过CRF++，见：http://www.coreseek.cn/opensource/CRF/。我觉得CRF++还有更大的优化空间，以后有时间再搞。   1 下载和安装 CRF的概念，请google，我就不浪费资源啦。官方地址如下：http://crfpp.sour
tp数组转为json_实战中vue如何向后端数据库存取json数组型数据
weixin_39603622的博客
11-20 484
最近在为医院做一套简单的PEIS体检系统，在录入费用的时候，一条费用一条数据总感觉很麻烦，数据多了直接看数据库也比较混乱，我经常直接看数据库，于是改成json的格式来存储费用相关的数据，[{"id":1},{"id":2}]大致这种格式，先说说项目的基本情况。 服务器采用的是lnmp，后端框架使用ThinkPHP6,前端使用Element-vue来处理，都知道对于php来说将数组存储到数据库，只需...
基于CRF++的中文分词 数据+CRF++工具+java源码
07-06
基于CRF++的中文分词，包含了数据、CRF++工具、java源码，可以一键执行
CRF++- 0.54 注释版
05-23
CRF++-0.54 注释版是一个用于自然语言处理（NLP）的开源工具，它基于条件随机场（Conditional Random Fields, CRFs）的算法。条件随机场是一种统计建模方法，常用于序列标注任务，如词性标注、命名实体识别（NER）、...
windows版CRF++-0.58.zip；linux版CRF++-0.54.zip.rar
10-12
这个压缩包包含两个版本，一个是针对Windows操作系统的"windows版CRF++-0.58.zip"，另一个是针对Linux操作系统的"linux版CRF++-0.54.zip.rar"。 条件随机场（CRF）是一种概率图模型，常用于解决有结构输出的预测...
基于CRF++的中文分词 数据+CRF++工具+java源码.zip
03-02
提供的Java源码可能包含了一个基于CRF++的中文分词系统，包括模型加载、分词函数以及可能的性能优化。通常，Java代码会调用CRF++的命令行工具或者其C++库，进行模型的读取和分词操作。Java实现的优点在于跨平台性和...
CRF++ 0.54
09-14
总的来说，CRF++ 0.54 是一个强大的工具，对于研究者和开发者来说，它是实现基于CRF的序列标注任务的理想选择。通过熟悉其工作原理和使用方法，我们可以利用它解决实际的自然语言处理问题，提升模型的性能。在实际...
CRF++中文分词
liu_zhlai的博客
08-27 1199
前面讲了对于CRF用于序列标注的基本问题的理解，本文记录下CRF用于中文分词的基本步骤。本文中选用的CRF是目前应用比较广的CRF++，分词语料用的是北京大学自然语言处理实验室标注好的人民日报98年1月的新闻语料。下面是具体的步骤：      1.CRF++安装     CRF++的官网：http://crfpp.sourceforge.net/    我用的是Ubutnu，所以，下载的是源
crf++工具包crf++工具包
03-07
crf++工具包crf++工具包crf++工具包crf++工具包crf++工具包crf++工具包crf++工具包crf++工具包
CRF++工具包（Linux&Windows版本）0.53
06-22
CRF++工具包（Linux&Windows版本）0.53版
处理好的人民日报语料，可以直接用CRF训练命名实体
06-05
处理好的人民日报语料，用于命名实体识别，两个文件分别为字符集和词语级
CRF++实现分词
DOS的博客
10-02 1308
本文是通过CRF++实现中文的分词 首先介绍CRF++的具体安装和使用CRF++ Linux版本的安装方法是： i. 解压到某目录下 ii. 打开控制台，将当前目录切换到解压目录 iii. 依次输入命令： ./config
CRF++进行中文分词安装使用
FREEDOM
12-09 6181
安装CRF和安装maxent差不多，都是./configure，make，sudo su，make install。CRF提供了各种语言的工具包，有java、python、perl等。我用的是python语言工具包，所以还要安装python工具包：python setup.py build ，(sudo) python setup.py install。安装完成后，可以打开python shell
CRF/CRF++工具简单使用案例——分词篇
sixteen_16的博客
04-22 1104
以人民日报为语料，对其进行处理之后，调用CRF++工具生成模型，并测试
crf++-0.58用于分词
tsf的博客
09-18 2988
准备1.下载crf++-0.58 2.训练数据train.txt 3.template 文件 4.测试数据test.txt 本文之讲述简单的操作步骤，具体使用时的template设计，训练命令参数选择。。。。。。。train.txt文件数据格式：template文件test.txt 文件数据格式训练命令： crf_learn template train.txt model 命令执
初学分词-crf++
ruizhang_的博客
04-12 969
网上有很多这方面的资料，但是很零碎，尝试写一个入门版的 crf++训练压缩包 运行 一、解压 1、data文件夹，训练和测试需要的数据： input文件夹，存放所需要的数据 train_data.txt，训练数据，这里只有几条作为示例，实际工程 中，需要上万条数据 test_data.txt，测试数据 crf.template，特征模板 output文件夹 -> 输出的模型和测试结果 2、code文件夹，C++调用CRF++接口的代码示例 3、CRF+±0.58，crf++源码 二、编译 前置需
CRF++-0.54 windows
最新发布
12-29
CRF++是一个常用的条件随机场（CRF）工具包，用于序列标注任务，如中文分词、命名实体识别等。CRF++-0.54是CRF++的一个版本，你想了解在Windows环境下使用CRF++-0.54的相关信息。 很抱歉，我无法提供关于CRF++-0.54...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值