CRF中文分词标注器

最新推荐文章于 2021-04-22 22:45:08 发布
最新推荐文章于 2021-04-22 22:45:08 发布
阅读量892 收藏
点赞数 2
分类专栏： mmorpg游戏服务器设计 文章标签： CRF NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ahccom/article/details/8947212
版权
搞了3个月，终于把CRF的中文分词标注工具做好了。算法很简单，只采用常用的B、M、E、S作为标注集，特征选择采用-1、0、1、-1&0、0&-1、-1&1
六种特征。训练语料采用1998年《人民日报》1月份的公开语料。

分词见效果图：


标注如下：


ahccom
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
做分词用到的一个工具包CRF++,亲测可以使用
01-11
做分词用到的一个工具包CRF++,亲测可以使用.安装过程有什么问题的可以看下我的博客: http://blog.csdn.net/gdufstfknight/article/details/79030743
CRFs及其应用
渐渐遗忘的记忆
05-24 3261
CRFs及其应用 模型原理 基本思路：给定观察序列XXX，输出标识序列YYY，通过计算P(Y∣X)P(Y|X)P(Y∣X)求解最优标注序列。 CRFs和HMMs的区别： CRFs中特征函数(全局特征函数)统一表示为： Fj(Y,X)=∑i=1nfj(yi−1,yi,X,i) F_j(Y,X)=\sum_{i=1}^{n}f_j(y_{i-1},y_i,X,i) Fj​(Y,X)=i=1∑n​fj...
用条件随机场CRF进行字标注中文分词（Python实现）
时空霹雳的专栏
08-13 2万+
本文运用字标注法进行中文分词，使用4-tag对语料进行字标注，观察分词效果。模型方面选用开源的条件随机场工具包“CRF++: Yet Another CRF toolkit”进行分词。         本文使用的中文语料资源是SIGHAN提供的backoff 2005语料，目前封闭测试最好的结果是4-tag+CFR标注分词，在北大语料库上可以在准确率，召回率以及F值上达到92%以上的效果，在
免费2款标注工具实操（内含下载链接）
ui_hh8023的博客
12-26 3505
免费的标注工具不多啦，赶紧码起来，内含下载链接和操作步骤，快速标注，一步到位！
python CRF中文分词（crf++工具）
yaogegegege的博客
06-28 7435
实验语料：人民日报数据、词典由训练语料生成 puk_training.txt：训练语料 puk_training_small.txt：训练语料（小） pku_test.txt : 测试语料 pku_test_gold.txt：参考答案 crf++工具链接：https://pan.baidu.com/s/1H7ZaifX0lvmfIpG74tLXOA 提取码：2beq 条件随机场（...
BiLSTM-CRF中文分词实验
07-02
在自然语言处理（NLP）领域，中文分词是基础任务之一，它将连续的汉字序列切分成具有独立语义的词汇单元，对于后续的文本分析和理解至关重要。 描述中提到，该项目提供了配套的报告文件，意味着实验者已经进行了...
Seg_CRF:CRF中文分词实验
05-18
在Python环境中，可能会使用如nltk、jieba或者自定义的接口来调用CRF分词模型。例如，使用jieba库的`jieba.cut_for_search()`方法，可以结合CRF模型实现更精确的分词。此外，为了优化模型，可能还需要进行参数调优，...
crf分词标注训练语料
09-16
"crf分词标注训练语料"是一个专门用于训练CRF模型的数据集，旨在帮助开发者或研究人员训练出更准确的分词模型。 `nlpcc2015任务一的数据`表明这个语料库可能来源于2015年全国信息检索与自然语言处理会议（NLPCC）的...
基于LSTM和CRF的中文分词源码（采用BEMO标注）（python）.zip
最新发布
03-04
基于LSTM和CRF的中文分词源码（采用BEMO标注）（python）.zip基于LSTM和CRF的中文分词源码（采用BEMO标注）（python）.zip基于LSTM和CRF的中文分词源码（采用BEMO标注）（python）.zip基于LSTM和CRF的中文分词源码...
自然语言处理
roki
07-10 367
CRF简介 C onditio nal  R andom   F ield ：条件随机场，一种机器学习技术（模型） CRF 由 John Lafferty 最早用于 NLP 技术领域，其在 NLP 技术领域中主要用于文本标注，并有多种应用场景，例如： 分词（标注字的词位信息，由字构词） 词性标注（标注分词的词性，例如：名...
中文分词工具之基于字标注法的分词
adnb34g的博客
06-26 703
基于字标注法的分词 中文分词字标注通常有2-tag,4-tag和6-tag这几种方法，其中4-tag方法最为常用。标注集是依据汉字（其中也有少量的非汉字字符）在汉语词中的位置设计的。 1. 2-tag法 2-tag是一种最简单的标注方法,标注集合为{B,I}，其将词首标记设计为B，而将词的其他位置标记设计为I。例如词语“重庆”的标注结果是“重/B 庆/I”，而“大学生”的标注结果为“大/B...
中文分词的探索，CRF（条件随机场）和HMM（隐马尔可夫模型）用于分词的对比，以及中文分词的评估
outsider
11-10 4467
在中文分词这个应用上我试验得比较多了，所以这里想对自己做过关于分词的做一些对比，总结。 可能很多人在入门隐马尔科夫模型的时候都举例过分词这个模型，我也是，当时觉得好神奇，竟然这么准确，但是后面当我越来越深入做分词这一块，学到条件随机场，并且自己实现测试，发现纯序列标注用HMM分词实际上一般般，下面就我这2个标注模型在分词种做一个对比。 1.CRF和HMM模型特点的对比 首先，先说一下2个模型...
基于CRF的中文分词
热门推荐
王峰的Blog
01-22 3万+
 CRF简介Conditional Random Field：条件随机场，一种机器学习技术（模型）CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注，并有多种应用场景，例如：分词（标注字的词位信息，由字构词）词性标注（标注分词的词性，例如：名词，动词，助词）命名实体识别（识别人名，地名，机构名，商品名等具有一定内在规律的实体名
CRF/CRF++工具简单使用案例——分词篇
sixteen_16的博客
04-22 1106
以人民日报为语料，对其进行处理之后，调用CRF++工具生成模型，并测试
自然语言处理之中文分词器详解
自然语言处理技术
01-07 1万+
中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块，不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果，当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。 1基于词典分词算法 基于
CRF++进行中文分词安装使用
FREEDOM
12-09 6181
安装CRF和安装maxent差不多，都是./configure，make，sudo su，make install。CRF提供了各种语言的工具包，有java、python、perl等。我用的是python语言工具包，所以还要安装python工具包：python setup.py build ，(sudo) python setup.py install。安装完成后，可以打开python shell
Python 条件随机场(CRF) 序列标注 介绍及工具简单用法解析
Gransand的博客
05-11 9831
CRF简介 　　Conditional Random Field：条件随机场，一种机器学习技术。 　　CRF由Lafferty等人于2001年提出，结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型，近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。条件随机场是一个典型的判别式模型，其联合概率可以写成若干势函数联乘的形式，其中最常用的是线性链条件随机场。 　　感...
NCRF序列标注开源工具使用
ccbrid的博客
09-25 7570
github地址：https://github.com/jiesutd/NCRFpp 一、网页翻译 NCRF++: An Open-source Neural Sequence Labeling Toolkit NCRF++:一个开源的神经序列标注工具包 Sequence labeling模型在许多NLP任务中都很流行，如命名实体识别(NER)、词性标注(POS)和分词。最先进的序列标注模...
CRF实现中文词性标注（1）——原理说明
Amy_mm的博客
04-12 6092
写在前边 po上看到的一个大佬的博文，这篇博客也是学习大佬的文章。 文中图片也来自于参考博文。 参考链接: CRF、有向图、无向图 大佬的图模型 大佬的CRF讲解 我的知乎专栏，小白要努力了哦 图模型 背景 Naive Bayes P(X∣y)=p(x1∣y)p(x2∣y)....p(x3∣y)P(X|y) = p(x1|y)p(x2|y)....p(x3|y)P(X∣y)=p(x1∣y)p(...
python基于crf进行分词
04-29
是的，Python中可以使用CRF（条件随机场）算法进行分词...在Python中，可以使用第三方库如pycrfsuite或sklearn-crfsuite来实现CRF分词。这些库提供了训练和预测的接口，可以根据用户提供的语料库进行分词的训练和预测。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值