CRF中文分词开源版发布啦

最新推荐文章于 2021-10-02 20:37:10 发布
最新推荐文章于 2021-10-02 20:37:10 发布
阅读量253 收藏
点赞数
分类专栏： 中文分词 文章标签： 算法 windows 互联网 引擎 语言 平台
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/langiner/article/details/5859811
版权

 

langiner@gmail.com

中文分词是互联网应用不可缺少的基础技术之一，也是语音和语言产品必不可少的技术组件。 自2003年第一届国际中文分词评测以来，由字构词的分词方法获得了压倒性优势，国内主要通过CRF++开源软件包来学习该分词方法，但是CRF++过于复杂的代码结构，导致了该算法的普及率。

本次首先发布了CRF中文分词开源版(http://xiazai.zol.com.cn/detail/41/407136.shtml)仅仅包含CRF++软件包中分词解码器部分，简化了CRF++复杂代码结构，清除了分词解码器不需要的代码，大大提高了分词解码器的可读性和可懂度。同时为了方便学习者可视化跟踪和调试代码，在Windows平台下分别建立了VC6.0和VS2008两个工程文件，使得VC6.0用户和VS2008用户都能轻玩转中文分词。

开源包中的分词知识库较小，分词精度较低，仅供学习Crf分词算法使用。后续将继续发布更高精度和更高速度分词引擎。

langiner
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-基于UniversalTransformerCRF的中文分词和词性标注
08-10
Sequence labeling base on universal transformer (Transformer encoder) and CRF; 基于Universal Transformer CRF 的中文分词和词性标注
运用CRF技术进行简单分词
qq_41802858的博客
06-13 528
1，下载icwb2-data语料库 2， 按4-tag对训练数据(pku_training.utf8)进行标注，make_crf_train_data 所谓的4-tag：S，单个词；B，词首；E，词尾；M，词中 代码如下： input_data = codecs.open(pku_training, 'r', 'utf-8') output_data = codecs.open(pk...
使用 CRF 做中文分词
INotWant的博客
06-23 7020
使用 CRF 做中文分词 概要 简述 CRF 问题描述（中文分词任务） 构建特征函数 CRF 学习算法（改进的迭代尺度法） CRF 预测算法（维特比算法） 注：以上实现只针对中文分词任务。 1. 简述 CRF 注，以下内容需要一定的学习成本，如有不适请跳至下一节（实战中学习）。但，建议先大概学一下理论！ 学习 CRF 的路线： 大概了解 概率图模型（将概率用图的方式表示出来，节点表事件，边代...
CRF++中文分词
liu_zhlai的博客
08-27 1198
前面讲了对于CRF用于序列标注的基本问题的理解，本文记录下CRF用于中文分词的基本步骤。本文中选用的CRF是目前应用比较广的CRF++，分词语料用的是北京大学自然语言处理实验室标注好的人民日报98年1月的新闻语料。下面是具体的步骤：      1.CRF++安装     CRF++的官网：http://crfpp.sourceforge.net/    我用的是Ubutnu，所以，下载的是源
基于CRF++的中文分词 数据+CRF++工具+java源码
07-06
基于CRF++的中文分词，包含了数据、CRF++工具、java源码，可以一键执行
CRF ++ -0.58 中文分词
04-27
CRF++ 是一个开源的条件随机场（Conditional Random Fields，简称CRF）工具包，主要用于序列标注任务，如中文分词、词性标注、命名实体识别等自然语言处理任务。该软件由Taku Kudo开发，版本0.58在Windows 7 64位...
jieba 中文分词服务 Go语言版.zip
最新发布
04-01
《jieba 中文分词服务 Go语言版》 在当今数字化时代，中文信息处理成为了一个不可或缺的领域，尤其是在自然语言处理（NLP）中，中文分词是基础性且至关重要的一步。jieba是一个广受欢迎的开源中文分词库，它为...
基于NLP的中文分词处理系统.zip
05-07
中文分词是将连续的汉字序列切分成一个个单独的词语。这是因为中文的语法结构和英语等其他语言不同，词与词之间没有明显的分隔符。中文分词的重要性在于，只有正确地划分出词语，才能进行进一步的文本分析，如词性...
CRF++0.58（win+Unix两个版本）
12-18
CRF++0.58是一款广泛应用的开源工具包，专门用于实现条件随机场（Conditional Random Fields，简称CRFs）算法。这款工具包包含了Windows和Unix两个版本，因此无论是哪种操作系统环境，用户都能方便地进行安装和使用...
crf分词标注训练语料
09-16
用与crf分词，标注训练语料。 nlpcc2015任务一的数据
CRF，LSTM，最大后向匹配法实现中文分词
06-18
3种中文分词方法：最大后向匹配法，CRF，LSTM。其中LSTM又用了三种方法输入，glove向量，Word2vec向量，还有将字映射成整数再通过embedding层映射成字向量作为输入。还包含中文分词的评分脚本。
机器学习&数据挖掘笔记_23（PGM练习七：CRF中参数的学习）
weixin_33734785的博客
01-10 380
  　　前言： 　　本次实验主要任务是学习CRF模型的参数，实验例子和PGM练习3中的一样，用CRF模型来预测多张图片所组成的单词，我们知道在graph model的推理中，使用较多的是factor，而在graph model参数的学习中，则使用较多的是指数线性模型，本实验的CRF使用的是log-linear模型，实验内容请参考 coursera课程：Probabilistic Graph...
CRF条件随机场进行中文分词（基于CRF++）
Alocus的博客
06-02 1690
三、实验原理： 1、 条件随机场: 生成式概率图模型是直接对联合分布进行建模，如隐马尔可夫模型和马尔可夫随机场都是生成式模型。判别式概率图模型是对条件分布进行建模，如条件随机场Conditional Random Field:CRF。 条件随机场是用来标注和划分序列结构数据的概率化结构模型。对于给定的输出，标识序列Y和观测序列X，条件随机场通过定义条件概率P(Y|X)，而不是联合概率分布P(X, Y)来描述模型。 条件随机场试图对多个随机变量（它们代表标记序列）在给定观测序列的值之后的条件概率进行建
NLP（三十三）利用CRF实现中文分词
山阴少年
10-20 3764
  本文将会讲述如何利用CRF模型来实现中文分词。   所谓中文分词，就是将连续的中文汉字序列按照一定的规范重新组合成词序列的过程。关于CRF模型的介绍以及CRF实现工具CRF++的使用方法，读者可以参考文章NLP入门（八）使用CRF++实现命名实体识别(NER) 。   以下将详细讲述如何使用CRF++来实现中文分词。 语料选择   中分分词的语料，这里选择人民日报分词语料和微软中文分词语料，语料的下载方式可以参看文章最后给出的Github地址。   我们将语料加工成CRF++支持的格式，以句子迈向充满希
浅谈分词算法（4）基于字的分词方法（CRF）
weixin_30832351的博客
12-28 273
目录 前言 目录 条件随机场（conditional random field CRF） 核心点 线性链条件随机场 简化形式 CRF分词 CRF VS HMM 代码实现 训练...
CRF 中文分词过程理解
weixin_43027596的博客
07-17 1601
主要通过看这篇文章对CRF分词才有一点理解,下面是链接http://www.52nlp.cn/%E5%88%9D%E5%AD%A6%E8%80%85%E6%8A%A5%E9%81%933-crf-%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E8%A7%A3%E7%A0%81%E8%BF%87%E7%A8%8B%E7%90%86%E8%A7%A3 CRF与HMM在分词上...
CRF条件随机场进行中文文本分词
BCblack的博客
10-02 1342
文章目录一、问题分析1.CRF简述与对比2.分析3. 构建特征函数4.维特比算法二、算法实现三、结果展示四、总结1.模型2.算法3.策略五、源码 一、问题分析 1.CRF简述与对比 CRF分词原理 CRF把分词当做字的词位分类问题，通常定义字的词位信息如下： 词首，常用B表示 词中，常用I表示 词尾，常用E表示 单子词，常用S表示 CRF分词的过程就是对词位标注后，将B和E之间的字，以及S单字构成分词 CRF分词实例： 原始例句：我爱北京天安门 CRF标注后：我/S 爱/S 北/B 京/E
crf++完成分词任务（人民日报）
kawhi849
08-04 1430
安装好crf++后（其实这里用到的只是crflearn.exe和crftest.exe）和下载人民日报的数据之后，我们就可以准备CRF方法的训练过程了。 首先是对数据进行处理，生成训练所需的文件。我们去除一些不必要的符号、空格等，对词的位置进行标注（分为单字和多字处理），生成几个文件。其中训练数据和测试数据按照9：1的比例设置。 get_train_data.py # coding = u...
bert-bilstm-crf 中文分词
12-15
BERT-BiLSTM-CRF是一种基于深度学习的中文分词方法，它结合了BERT预训练模型、双向长短时记忆网络（BiLSTM）和条件随机场（CRF）模型。具体流程如下： 1. 预处理：将中文文本转换为字符序列，并将每个字符转换为对应的向量表示。 2. BERT编码：使用BERT模型对字符序列进行编码，得到每个字符的上下文表示。 3. BiLSTM编码：将BERT编码后的字符向量输入到双向LSTM中，得到每个字符的上下文表示。 4. CRF解码：使用CRF模型对BiLSTM编码后的结果进行解码，得到最终的分词结果。 以下是BERT-BiLSTM-CRF中文分词的Python代码示例： ```python import torch import torch.nn as nn from transformers import BertModel class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_tags): super(BertBiLSTMCRF, self).__init__() self.bert = BertModel.from_pretrained(bert_path) self.lstm = nn.LSTM(input_size=self.bert.config.hidden_size, hidden_size=self.bert.config.hidden_size // 2, num_layers=1, bidirectional=True, batch_first=True) self.dropout = nn.Dropout(p=0.5) self.fc = nn.Linear(self.bert.config.hidden_size, num_tags) self.crf = CRF(num_tags) def forward(self, input_ids, attention_mask): bert_output = self.bert(input_ids=input_ids, attention_mask=attention_mask)[0] lstm_output, _ = self.lstm(bert_output) lstm_output = self.dropout(lstm_output) emissions = self.fc(lstm_output) return emissions def loss(self, input_ids, attention_mask, tags): emissions = self.forward(input_ids, attention_mask) loss = self.crf(emissions, tags, mask=attention_mask.byte(), reduction='mean') return -loss def decode(self, input_ids, attention_mask): emissions = self.forward(input_ids, attention_mask) return self.crf.decode(emissions, attention_mask.byte()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值