CRF++遇到问题

最新推荐文章于 2020-12-09 09:47:43 发布
最新推荐文章于 2020-12-09 09:47:43 发布
阅读量2.1k 收藏 1
点赞数 1
分类专栏： CODE 文章标签： 服务器 windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiuchixc/article/details/7640642
版权

CRF++在windows系统下不能处理大规模语料

目前针对1998年2个月的语料没有问题，但是3个月的语料就崩溃了

虽然版本升级，但是我们的服务器上仍然存在这个问题


CRF++升级的版本55-57，可以自动识别系统的CPU的数量

例如我们的服务器，他识别后自动给开16个线程，这样会导致程序崩溃。

限制一下线程数量，目前限制到4，小语料就可以正常跑了


查阅过使用CRF的文献，文献中最大的语料规模相当于5个月的人民日报。

还没有弄清是服务器问题，还是CRF++性能的问题，正在找解决办法，想试一下crfsuite


crfsuite试过了，结果还是不行，原因也还是由于L-BTGS的错误。为什么呢？研究一下

alicexc++
关注
专栏目录
securefx securecrf 中文乱码问题解决
weixin_34205826的博客
04-26 138
2019独角兽企业重金招聘Python工程师标准>>> ...
CRF++工具遇到的问题
baidu_15113429的博客
10-12 2253
1.训练数据一定要定义成utf-8格式，然后生成的model在测试数据为utf-8的情况下会出现错误。 2.训练数据中不能有空字符，如果有空字符，CRF++的命令行就会出现错误。 3.读写文件的时候一定要定义好是utf-8格式。 4.在命令行显示中文字符的时候，一定要进行chch65001更改编码格式为utf-8。
CRF++ 训练问题（windows）
记录学习中的点滴
06-02 2063
问题如图：迭代了一轮就停止了解决方式：> crf_learn   -a MIRA   .\template .\test_data model -t估计是winsows中对它的多线程不兼容（我的不是本地编译的）。
CRF++使用小结
weixin_33810302的博客
11-21 325
1. 简述     最近要应用CRF模型，进行序列识别。选用了CRF++工具包，具体来说是在VS2008的C#环境下，使用CRF++的windows版本。本文总结一下了解到的和CRF++工具包相关的信息。     参考资料是CRF++的官方网站：CRF++: Yet Another CRF toolkit，网上的很多关于CRF++的博文就是这篇文章的全部或者部分的翻译，本文也翻译了一些。 2...
crf++0.58.tar.gz
03-08
CRF++ 0.58是一款开源的、跨平台的条件随机场（Conditional Random Fields, CRF）工具，它提供了Windows和Linux两种操作系统的版本，旨在帮助用户解决在数据标注和序列标注任务中遇到的问题。CRF++的出现，对于那些...
crf++_0.58 linux版本
04-26
5. **开源社区支持**：作为一个活跃的开源项目，CRF++ 拥有丰富的社区资源，用户可以在遇到问题时寻求帮助，或者贡献自己的代码和改进。 在实际使用中，首先需要解压 `CRF++--0.58.tar.gz` 文件，然后按照提供的...
CRF++ 0.54
09-14
5. **丰富的社区支持**：由于开源，CRF++拥有活跃的社区，用户可以在遇到问题时寻求帮助，同时也有许多示例和教程可供参考。 在使用CRF++进行项目时，通常需要经过以下步骤： 1. **数据预处理**：将原始数据转换为...
CRF++-0.58及人民日报语料
05-16
在实际应用中，你可能会遇到的问题包括模型过拟合、欠拟合、参数调优等，这些问题可以通过交叉验证、正则化、集成学习等手段来解决。同时，理解CRF的工作原理，如Laplace平滑、转移概率的计算等，也有助于更好地利用...
CRF++-0.58 python安装CRF资源包
05-22
此资源包专门针对64位系统设计，因此如果尝试在32位系统上安装，可能会遇到兼容性问题。CRF++通常与Python结合使用，以便在Python程序中调用其强大的序列标注功能。 安装步骤如下： 1. **下载资源**：首先，你需要...
CRF++只迭代一次停止，不生成model的问题解决
杨丹的博客
09-06 1367
CRF++使用详情见 CRF++使用小结 01 问题 在应用CRF++训练模板时，由于数据规模较大，运行迭代了一次以后就停止，且不生成model，如下： 02 解决办法： 调整参数 -f NUM 这个參数设置特征的cut-off threshold。CRF++使用训练数据中至少NUM次出现的特征。默认值为1。当使用CRF++到大规模数据时，仅仅出现一次的特征可能会有几百万，这个选项就会在这种情况...
CRF++进行中文分词安装使用
FREEDOM
12-09 6189
安装CRF和安装maxent差不多，都是./configure，make，sudo su，make install。CRF提供了各种语言的工具包，有java、python、perl等。我用的是python语言工具包，所以还要安装python工具包：python setup.py build ，(sudo) python setup.py install。安装完成后，可以打开python shell
安装CRF++ 0.58 注意的问题
私人天地
03-04 1225
## Based on CRF++-0.58, you need to install it firstly ## To download from ## https://drive.google.com/drive/folders/0B4y35FiV1wh7fngteFhHQUN2Y1B5eUJBNHZUemJYQV9VWlBUb3JlX0xBdWVZTWtSbVBneU0 ## Then us...
crf++完成分词任务（人民日报）
kawhi849
08-04 1454
安装好crf++后（其实这里用到的只是crflearn.exe和crftest.exe）和下载人民日报的数据之后，我们就可以准备CRF方法的训练过程了。 首先是对数据进行处理，生成训练所需的文件。我们去除一些不必要的符号、空格等，对词的位置进行标注（分为单字和多字处理），生成几个文件。其中训练数据和测试数据按照9：1的比例设置。 get_train_data.py # coding = u...
win下CRF++ 训练问题，不生成模型也不显示迭代次数
qq_26720653的博客
12-10 1372
问题描述：        就是运行CRF++后既不显示迭代次数，也不生成训练模型，如下图： 就跟这个帖子描述的问题一样https://bbs.csdn.net/topics/392335817?page=1#post-403601997 我的解决方案可以参考一下： 仔细看提示 number of sentences:1   这里应该是语料没有处理好，数量不应该是1， 在句子和句子之间...
使用python时import sklearn导入出错问题解决
热门推荐
qq_41204704的博客
05-31 1万+
Import sklearn错误：ImportError: DLL load failed: 找不到指定的模块
CRF++ 0.58 在Windows中 运行与安装
u013736042的专栏
11-24 8208
可以选择example里的某个例子做测试，比如选chunking。将crf_learn.exe；crf_test.exe；libcrfpp.dll三个文件复制到到，含有exec.sh；template；test.data；train.data的文件夹（chunking）里。 cmd cd进入该文件夹 crf_learn template train.data model   训练
自定义CRF教程：加载ansj中文分词器与解决常见问题
本教程旨在详细介绍如何在Java环境下...本教程提供了一个使用ANSJ中文分词器加载自定义CRF模型的具体流程，以及在实践中遇到的问题和解决方案，这对于那些想要定制化训练自己的分词模型的开发者来说是一份宝贵的指南。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值