CRF++ 使用小结

最新推荐文章于 2021-12-29 18:49:23 发布
最新推荐文章于 2021-12-29 18:49:23 发布
阅读量1.6k 收藏
点赞数
分类专栏： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiaach/article/details/80146403
版权
本文总结了CRF++的使用经验，包括下载与编译、训练模型的命令行参数说明，如规范化算法选择（CRF-L1/L2）、训练数据频率阈值等。在模型训练过程中，提到了可能出现的错误，如模板格式错误和segment fault，并提供了解决方案。此外，还分享了使用CRF++时的注意事项，如特征数量、线程数选择以及不支持中文路径等问题，最后给出了相关参考资料。
摘要由CSDN通过智能技术生成

下载CRF++并编译

./configure
`make

编译成功即可训练模型

命令行使用CRF++：（这里有更详细的Tutorial）
训练模型
crf_learn template_file train_file model_file
crf_learn参数
-a CRF-L2 or CRF-L1 规范化算法选择。默认是CRF-L2。
-c float 其中float关于拟合训练数据的程度，float越大，拟合程度越高
-f Num 其中Num是指训练数据中至少出现Num次
-p Num 其中Num是线程数量
-o output-FILE 重定向文件
测试模型
crf_test -m model_file test_files

使用CRF++遇到的错误：
reading training data:
tagger.cpp(393) [feature_index_->buildFeatures(this)]
报错原因ÿ

最低0.47元/天 解锁文章
Jaichg
关注
专栏目录
解决CRF++中tagger.cpp(393) [feature_index_->buildFeatures(this)]问题及CRF++python接口安装
愿你远行千里，归来仍是少年
06-30 1500
在使用CRF++进行命名实体识别时进行训练时，出现问题如下： 原因： template特征模版格式与train.txt不一致，存在无法访问的项。 template特征模版内容如下： 而template模版对应的train.txt中内容如下： 解决：修改template特征模版 修改为如下模版： 参考： CRF++使用小结 Win环境下安装CRF++及python接口...
Windows下Pycharm中引入CRFPP出错解决
m0_57064565的博客
07-28 954
1.错误信息 import CRFPP ModuleNotFoundError: No module named 'CRFPP' 显示没有名为CRFPP的模块，此处需要自己编译得到 2.解决办法 此处需使用Linux下的crf++0.58和Windows下crf++0.58 分别下载下来解压 进入到Linux版目录下的python目录下 目录如下： 此时需要从Windows版crf++中复制几个文件到此目录下 在安装的时候，系统需要crfpp.h, crfpp.lib和...
python中CRFPP的安装方法（ModuleNotFoundError: No module named 'CRFPP'）
weixin_30491641的博客
08-23 2401
在我们用python去导入CRFPP包的时候可能会报错（ModuleNotFoundError: No module named 'CRFPP'） 下面是安装方法 在安装python中CRFPP的接口的时候，我们在Linux版当中的crf中操作 本次我是用的是crf++-0.58 用命令行切换到该目录使用命令 在安装的时候，系统需要crfpp.h, c...
最详细的条件随机场工具包CRF++的命令使用和解读
qq_41166909的博客
08-10 1640
条件随机场是日本奈良先端科学技术大学院的工藤拓所开发的CRF++。使用语言是C++ ,目前人工智能比较热门，python使用率逐渐高了起来，但是在工业应用开发中还是java和C++使用的更多一些，因为java的垃圾回收机制，所以运行比python更快，故推荐大家如果是开发还是尽量使用java调用CRF的C++代码来训练模型。 下载CRF++0.58,直接解压。 解压之后得到CRF_learn.exe和CRF_test.exe. 第一步，准备训练的语料库my_cws_corpus.txt.tsv
mac安装crf++
sa726663676的博客
08-19 539
CRF++-0.58.tar.gz安装包下载（linux系统包），window需要下载zip版本包 下载地址（需要翻墙）为：https://drive.google.com/folderview?id=0B4y35FiV1wh7fngteFhHQUN2Y1B5eUJBNHZUemJYQV9VWlBUb3JlX0xBdWVZTWtSbVBneU0&usp=drive_web#list 安装有点曲折不知道哪一步把crf++安装成功了？ 简述一下安装过程， 开始： 首先我下载crf++包，然
NLP之CRF++安装及使用
miner_zhu的博客
10-18 1万+
  目录   一、CRF简介 CRF VS 词典统计分词 CRF VS HMM，MEMM CRF分词原理 二、CRF++工具包 CRF++的安装（linux） CRF++的使用 一、CRF简介 Conditional Random Field：条件随机场，一种机器学习技术（模型） CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注...
Bi-LSTM-CRF算法详解-1
兰陵鸡王的博客
03-03 1万+
第1节 介绍 1.介绍 Bi-LSTM-CRF算法是目前最为流行的NER算法。 BiLSTM和CRF可以看做NER模型中的两个不同层 1.1 开始之前 假设我们有一个数据集，其中有两种实体类别：Person和Organization。对于每一个类别又分为开始单词和中间单词，所以就有了5种类别。 B-Person （Person的第一个单词) I- Person ...
中文NER任务实验小结：BERT-MRC的再优化
Paper weekly
12-29 1866
©作者 | 邱震宇单位 | 华泰证券算法工程师研究方向 | NLP方向前言熟悉我的读者，应该看过我之前写过的一篇关于中文 NER 任务实践的文章（邱震宇：中文 NER 任务实验小结报告——...
基于keras与keras-contrib：biLSTM+CRF的命名实体标注模型 常见安装报错问题
Yolo_C的博客
11-15 4801
keras-contrib与keras版本问题小结 基于keras与keras-contrib：biLSTM+CRF的命名实体标注模型 1.ubuntun产看keras和tensorflow版本 键入python（进入python）然后输入如下命令，查看其他库的版本是一样的操作 2.改变keras版本(以2.2.2为例)： pip install --upgrade keras==2.2.2...
CRF++系列学习包，内含CRF学习文档, CRF++ 0.58win包、mac和linux包
01-08
CRF++系列学习包，内含CRF学习文档, CRF++ 0.58win包、mac和linux包CRF++系列学习包，内含CRF学习文档, CRF++ 0.58win包、mac和linux包
条件随机场(3)——学习和预测
老笨妞
12-22 1237
看了两天理论，终于轮到学习和预测上了。下载安装了CRF++-0.58，准备程序分析来理解CRF的主要过程。 CRF++算法源程序是C++编写的，主要的原生接口有三个：学习和预测用的crf_learn和crf_test，供其他语言调用模型的libcrfpp。官方文档把learn过程看做是encoder，把test看作decoder。1.学习的过程执行crf_learn最简洁的命令crf_learn
ModuleNotFoundError: No module named ‘xxx‘可能的解决方案大全
热门推荐
Lucky小黄人的博客
08-29 30万+
"ModuleNotFoundError: No module named 'xxx'"这个报错是个非常常见的报错，几乎每个python程序员都遇到过，导致这个报错的原因也非常多，下面是我曾经遇到过的原因和解决方案 module包没安装 忘了import 没有__init__.py文件 package包的版本不对 自定义的包名与安装的包名相同，导致import包的时候导错了包 没设置PYTHO...
CRF++使用教程
秋水顽石
11-01 3万+
前言　　CRF++是著名的条件随机场的开源工具，也是目前综合性能最佳的CRF工具。在这里我们简单介绍一下windows系统下CRF++的使用。一、工具包的下载： CRF 的工具有两种，一种是支持Linux环境的，一种是支持Windows环境的，大家可以自行根据自己的系统进行下载。 （在此我下载的是CRF++0.58） 安装 在此先简单说一下Linux环境下的安装，后面我们主要介绍Windows环境
CRF++模型格式 命令 参数 说明
weixin_33962923的博客
02-08 426
通过追加-t, –textmodel参数可以输出文本格式的CRF模型文件，通过该模型文本，可以加深对条件随机场的理解或为其他应用所利用。本文旨在介绍CRF++的文本模型格式，具体读取与解码将集成到HanLP中一并开源。 训练 语料 以BMES标注语料为例： 那 S 音 B 韵 E 如 S 轻 B 柔 E 的 S 夜 B 风 E ， S ...
CRF++-0.58在macOS下的配置
要上天的可乐
02-06 2273
大牛参考链接： 1.http://blog.csdn.net/zhongkeli/article/details/12677665 2.http://blog.csdn.net/shomy_liu/article/details/49833875 步骤1.首先下载Linux版本发布包 CRF++-0.58.tar.gz ，google上不去去csdn一抓一大把，自家也有免费的哦。然后将其解
CRF++使用
VergiL Wang的专栏
12-28 7055
前段时间写了中文分词的一些记录里面提到了CRF的分词方法，近段时间又研究了一下，特把方法写下来，以备忘，另外，李沫南同学优化过CRF++，见：http://www.coreseek.cn/opensource/CRF/。我觉得CRF++还有更大的优化空间，以后有时间再搞。   1 下载和安装 CRF的概念，请google，我就不浪费资源啦。官方地址如下：http://crfpp.sour
CRF 及CRF++ 安装与解释
FREEDOM
01-18 1万+
CRF简介 ConditionalRandomField：条件随机场，一种机器学习技术（模型） CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注，并有多种应用场景，例如： 分词（标注字的词位信息，由字构词）词性标注（标注分词的词性，例如：名词，动词，助词）命名实体识别（识别人名，地名，机构名，商品名等具有一定内在规律的实体名词） 本文主
在windows的python3使用PyCrypto出现ImportError: No module named 'winrandom'错误
zhang_fei_fresh的博客
11-27 3223
搬砖 报错：ImportError: No module named 'winrandom' 处理：修改python3安装目录下的  lib/Crypto/Random/OSRNG/nt.py 文件中找到              import winrandom          修改为：from Crypto.Random.OSRNG import winrandom   原文： h...
CRF++条件随机场工具全面使用教程
"这篇教程全面介绍了CRF++的使用，CRF++是一个开源的条件随机场（Conditional Random Fields，简称CRF）工具，被广泛认为是性能最优的CRF实现之一。" CRF++是一个强大的工具，用于序列标注任务，如词性标注、命名...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值