各分词工具对比 jieba、pkuseg、thulac、nlpir、基于BI-LSTM+ CRF自训练

最新推荐文章于 2025-04-17 22:00:18 发布
最新推荐文章于 2025-04-17 22:00:18 发布
阅读量1.6k 收藏 6
点赞数 3
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42175217/article/details/104756954
版权

 jieba
    主要接口
      cut
        https://github.com/fxsjy/jieba
        默认精准切词，尽量保留长词
        cut_all模式，在精准模式下增加一些短词
      cut_for_search
        切出尽量多的词用于搜索
    特性
      日常切词效果最好，比如三个字的动词一般会比较全，“打不开”，“扫一扫”，如何实现的，目前未知？ 但多个字的名词会容易切掉，可能主要原因是语料较老，主要是1998人民日报
      算是目前实用性较高的工具
        目前最有效的方法就是将清华的高质量词库以及自己整理的专有词库导入jieba
      jieba与其他最大的区别是，jieba以预先整理的词库为优先，尽量匹配最长的词。而其他是通过模型预测BMES，再分词，对训练语料依赖高
  pkuseg
    特性
      主要基于人民日报，三个字的动词或形容词会容易切断，比如“打不开”，“好得多”
      https://github.com/lancopku/PKUSeg-python
  thulac
    特性
      与pkuseg效果基本差不多，主要基于人民日报
      https://github.com/thunlp/THULAC-Python
  nlpir
    特性
      与pkuseg效果基本差不多，主要基于人民日报
  BI-LSTM + CRF
    特性
      与pkuseg效果基本差不多，主要基于2014人民日报
      偶尔还能比前三个更好，比如“门禁卡号”
      https://github.com/GlassyWing/bi-lstm-crf
  其他资料
    中文各领域词库，含词频（IT、财经、成语、地名、历史名人、诗词、医学、饮食、法律、汽车、动物）/清华2016
      https://github.com/thunlp/THUOCL
  经验
    在中英文混杂复杂的情况下，建议将中英文分开处理再合并，能保证特殊英语词会的完整切词

自然语言处理之命名实体识别：Bi-LSTM与CRF联合模型
zhubeibei168的博客
04-17 692
Bi-LSTM通过结合两个LSTM网络实现这一目标：一个正向LSTM从左到右处理序列，另一个反向LSTM从右到左处理序列。这样，每个时间点的输出都是基于其前后文信息的，从而能够更全面地理解序列中的每个元素。条件随机场(Conditional Random Field, CRF)是一种用于建模序列数据的统计模型，尤其在自然语言处理中，用于序列标注任务，如命名实体识别、词性标注等。CRF模型是马尔可夫随机场在条件概率下的特例，它假设给定观察序列，标签序列之间的依赖关系只与模型参数有关，而与观察序列无关。
自然语言处理之命名实体识别：Bi-LSTM-CRF模型训练与优化
最新发布
zhubeibei168的博客
04-20 966
Bi-LSTM, 即双向长短期记忆网络，是LSTM（Long Short-Term Memory）的一种扩展形式，旨在捕捉序列数据中的前后文信息。LSTM是一种特殊的循环神经网络（RNN），设计用于解决长期依赖问题，通过门控机制控制信息的流动，使得网络能够学习到长期序列中的依赖关系。词嵌入（Word Embedding）是自然语言处理中一种将词转换为向量表示的技术。这种向量不仅能够捕捉词的语义信息，还能反映词与词之间的关系。
python 六款中文分词模块介绍:jieba、THULAC、SnowNLP、pynlpir、CoreNLP、pyLTP
u010883226的专栏
06-19 4697
THULAC 四款python中中文分词的尝试。尝试的有：jieba、SnowNLP（MIT）、pynlpir（大数据搜索挖掘实验室（北京市海量语言信息处理与云计算应用工程技术研究中心））、thulac（清华大学自然语言处理与社会人文计算实验室） 四款都有分词功能，本博客只介绍作者比较感兴趣、每个模块的内容。j...
NLP之分词jieba、HanLP、中科院nlpir
chenxinvhai89的专栏
06-21 1528
目前主流的分词有jieba、哈工大LTP、中科院计算所NLPIR、清华大学THULAC和FoolNLTK、HanLP jieba分词目前是最主流的python中文分词组件，包括精确模式，在jieba分词中需要加载自定义词库（特殊领域）和使用正则表达式做过滤 1、对命名实体识别要求较高的可以选择HanLP，根据说明其训练的语料比较多，载入了很多实体库，通过测试在实体边界的识别上有一定的优势...
jieba和thulac使用比较
微电子学与固体电子学-俞驰
08-21 5068
jieba和thulac使用比较 #coding=utf-8 import thulac import time import jieba #test='我们还提供更复杂、完善和精确的分词和词性标注联合模型Model_3和分词词表。该模型是由多语料联合训练训练得到（语料包括来自多文体的标注文本和人民日报标注文本等）' a=jieba.cut('我想听邓紫棋的忘情水') end2=tim
五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP
u014033218的专栏
05-01 5773
最近玩公众号会话停不下来：玩转腾讯词向量：Game of Words（词语的加减游戏），准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词 我爱自然语言处理，就可以得到五款分词工具的分词结果： 现在的开源中文分词工具或者模块已经很丰富了，...
模型分词对比jieba_thulac_SnowNLP
qq_42835363的博客
11-11 712
（3.1）snownlp：Simplified Chinese Text Processing 简体中文文本处理1 地址：https://pypi.org/project/snownlp/；2 参考：[TextBlob](https://github.com/sloria/TextBlob)
中文分词模型-pkuseg-jieba-thulac对比
小白水手的博客
12-06 2080
下载了4个模型，官网也有其他的模型可参考。 看下模型结果对比： import pkuseg s = "小米粒儿" seg = pkuseg.pkuseg(model_name='./web') text = seg.cut(s) print(text) '''['小米', '粒儿']''' import pkuseg s = "小米粒儿" seg = pkuseg.pkuseg(model_na...
自然语言处理之命名实体识别：Bi-LSTM-CRF：中文分词与词性标注
zhubeibei168的博客
04-17 1012
词性标注（Part-of-Speech Tagging，POS Tagging）是自然语言处理中的一个基础任务，它为文本中的每个词附上一个表示其语法功能的词性标签。词性标签通常包括名词、动词、形容词、副词、介词、连词、代词、数词、量词、方位词、时态词、语气词、助词、叹词、拟声词等。双向LSTM（Bi-LSTM）结合了两个LSTM层，一个正向LSTM和一个反向LSTM。正向LSTM从左到右处理序列，而反向LSTM从右到左处理序列。通过这种方式，Bi-LSTM能够同时利用序列的前后文信息，从而提高模型的性能。
Python-使用keras实现的基于BiLSTMCRF的中文分词词性标注
08-10
在这个项目中，我们利用Python的深度学习库Keras来构建一个基于双向长短期记忆网络（BiLSTM）和条件随机场（CRF）的模型，用于执行中文分词和词性标注。以下将详细阐述这个模型的工作原理、实现过程以及相关的技术...
自然语言处理之命名实体识别：Bi-LSTM-CRF：模型评估与性能分析
zhubeibei168的博客
04-17 576
条件随机场(Conditional Random Field, CRF)是一种用于序列标注的统计建模方法，特别适用于命名实体识别(NER)任务。CRF能够建模序列中标签之间的依赖关系，通过全局最优解来预测整个序列的标签，而不是独立预测每个元素的标签。在本节中，我们将通过一个具体的案例来深入理解Bi-LSTM-CRF模型在命名实体识别(NER)任务中的应用。案例将基于一个广泛使用的中文NER数据集——MSRA NER数据集。
Elasticsearch配置jieba分词分析器
Vancl_Wang Blog
10-19 9604
jieba分词是中文里面比较好的分词器，而当前Elasticsearch官方并不支持jieba分词，但可以通过配置plugins的方式使用jieba分词器作为es的analyzer。 配置环境： - mac os 10.12 - elasticsearch 5.3.0 - jieba 5.3.0 （与es版本匹配） 首先需要下载针对es的jieba分词插件，当前jieba分词插件对e...
中文分词工具Jieba、SnowNLP、THULAC、NLPIR、StanfordCoreNLP的安装和分词语句（Python）
weixin_43826681的博客
04-01 884
目录一、Jieba1. 安装2. 分词语句二、SnowNLP1. 安装2. 分词语句三、THULAC1. 安装2. 分词语句四、NLPIR1. 安装2. 分词语句五、StanfordCoreNLP1. 安装2. 分词语句 一、Jieba 1. 安装 pip install jieba 2. 分词语句 Jieba支持三种分词模式： ①精确模式：试图将句子最精确地切开，适合文本分析 ②全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义 ③搜索引擎模式：在精确模式的基础上，对长词再次
探索智能分词：cjieba - 高性能的中文分词库
gitblog_00036的博客
04-21 368
探索智能分词：cjieba - 高性能的中文分词库 去发现同类优质开源项目:https://gitcode.com/ 在自然语言处理领域中，中文分词是基础且关键的一环。对于那些寻求高效、灵活的中文文本处理解决方案的开发者来说， 是一个值得深入了解的开源项目。 项目简介 cjieba是由yan yi wu开发的一个Python库，它是对原生jieba分词器的优化版本，旨在提供更快的分词速度和更优秀的...
python结巴分词的缺点_基于python的自然语言分析（三）-----结巴分词的基本功能...
weixin_39598568的博客
11-30 471
因为Nltk的分词功能具有一定的局限性，所以我们在对中文的进行分词时，需要使用一些靠谱的中文分词工具，笔者在此使用的是结巴分词。结巴分词的安装和其他包的安装基本一致，使用pip即可，在安装好后我们将对其基本功能进行熟悉和使用；1)分词功能：结巴分词的分词功能有【全模式】和【精确模式】两种# -*-coding:utf-8 -*-import jiebalist_all=jieba.cut("我是一...
6大中文分词工具测试比较
xiaobaizaza_Ry的博客
04-08 4977
中文分词工具比较 6大中文分词器测试（jieba、FoolNLTK、HanLP、THULAC、nlpir、ltp） 哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba 个人接触的分词器 安装 调用 jieba“结巴”中文分词：做最好的 Python 中文分词组件https://github.com/fxsjy/jieba THULAC清华大学：一个高效的中文词法分析工具包 ht...
中文分词
05-14 995
本文首先介绍下中文分词的基本原理，然后介绍下国内比较流行的中文分词工具，如jieba、SnowNLP、THULAC、NLPIR，上述分词工具都已经在github上开源，后续也会附上github链接，以供参考。 1.中文分词原理介绍 1.1 中文分词概述 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一...
中文分词模型的调研
长安山南君的博客
03-29 233
2019.12.08：北大开源全新中文分词工具包：准确率远超THULAC、jieba 分词 https://www.jianshu.com/p/3d9cd356da1a。2020-06-05：开源！我知道你不知道，百度开源词法LAC 2.0帮你更懂中文。
NLP+词法系列（一）︱中文分词技术小结、几大分词引擎的介绍与比较
热门推荐
素质云笔记
11-25 4万+
笔者想说：觉得英文与中文分词有很大的区别，毕竟中文的表达方式跟英语有很大区别，而且语言组合形式丰富，如果把国外的内容强行搬过来用，不一样是最好的。所以这边看到有几家大牛都在中文分词以及NLP上越走越远。哈工大以及北大的张华平教授（NLPIR）的研究成果非常棒！ 但是商业应用的过程中存在的以下的问题： 1、是否先利用开源的分词平台进行分词后，再自己写一些算法进行未登录词、歧义词的识别？ 2、或
如何提升bilstm模型训练效果
02-23
<think>嗯，用户问的是如何提升BiLSTM模型的训练效果。首先，我需要回想一下BiLSTM的基本结构和常见应用场景。BiLSTM结合了前向和后向的LSTM，能够捕捉上下文信息，常用于序列标注、文本分类等任务。提升其效果的方法应该从数据、模型结构、训练技巧等方面入手。 用户可能是刚入门的新手，也可能是正在项目中遇到问题的开发者。需要先确定他们的背景，但问题本身比较通用，所以应该覆盖常见的优化点。可能他们没有详细说明具体任务，所以得给出普遍适用的建议。 首先考虑数据预处理。BiLSTM对输入数据的质量很敏感，比如文本数据需要分词、去除停用词，可能还需要词干提取。对于中文，分词是否正确影响很大。另外，数据增强也是关键，特别是数据量少的时候，可以通过同义词替换、随机插入、删除或交换词语来增加数据多样性。 然后是特征表示。使用预训练的词向量，如Word2Vec、GloVe或BERT，可能比随机初始化更好。对于特定任务，可能需要调整词向量的维度，或者进行微调。字符级或子词级的表示也能帮助捕捉未登录词的信息。 接下来是模型结构方面。BiLSTM的层数和隐藏单元数需要平衡，层数太多可能导致过拟合，太少可能欠拟合。通常1-2层就够了。可以尝试结合注意力机制，让模型关注重要部分，比如在序列标注或机器翻译中，注意力能提升效果。另外，混合模型，比如BiLSTM+CRF用于NER任务，可能更有效。 超参数调优也很重要。学习率设置合适，可以使用学习率调度策略如余弦退火。Batch size不宜过大或过小，可能32到128之间。正则化方法如Dropout、L2正则化防止过拟合。早停法根据验证集表现停止训练，避免过拟合。 训练策略方面，预训练模型如BERT、ELMo作为编码器，然后接BiLSTM可能更好。多任务学习可以共享底层特征，提升泛化能力。课程学习由易到难训练样本，可能帮助模型收敛更好。 评估与调试部分，监控训练过程，使用TensorBoard等工具分析loss和指标。错误分析找出常见错误，针对性改进。模型融合如Bagging或Stacking可能提升效果，但会增加计算成本。 其他注意事项，比如处理长文本时截断或分块，类别不平衡时使用加权损失或重采样，还有可能尝试不同的优化器，如AdamW，或梯度裁剪。 需要确保建议全面，但不过于技术化，让不同层次的用户都能理解。可能需要分点说明，每个点给出具体的方法和例子，比如在数据增强部分举例同义词替换，或者在模型结构提到注意力机制的应用场景。 还要注意避免一些常见误区，比如盲目增加层数，或者忽略数据质量的重要性。同时，提醒读者根据具体任务调整方法，比如序列标注和文本分类可能需要不同的处理方式。 最后，总结关键点，让用户能快速抓住重点，比如数据质量、预训练词向量、模型结构调整、超参数调优等。可能还需要提到实践中的迭代实验，因为不同任务的最佳方法可能不同，需要多次尝试。</think>提升 BiLSTM（双向长短时记忆网络）模型的训练效果需要从**数据质量、模型结构优化、超参数调优、训练策略**等多方面入手。以下是一些具体的建议： --- ### **1. 数据预处理与增强** - **文本清洗**：去除噪声（特殊符号、冗余空格）、停用词过滤、统一大小写等。 - **分词/子词处理**：对于中文，选择合适的分词工具（如 jieba、LTP）；对于英文可考虑子词切分（如 BPE）。 - **数据平衡**：处理类别不平衡问题（如过采样少数类、欠采样多数类，或使用加权损失函数）。 - **数据增强**：通过同义词替换、随机插入/删除、回译（Back Translation）等方法扩充数据量，提升泛化性。 - **序列长度对齐**：对文本截断或填充（pad_sequences），设置合理的最大长度，避免过长影响效率。 --- ### **2. 优化词嵌入（Embedding）** - **预训练词向量**：使用领域相关的预训练词向量（如 Word2Vec、GloVe、FastText），而非随机初始化。 - **动态微调**：训练时根据任务调整词向量（如设置 `trainable=True`）。 - **多粒度特征**：结合字符级（Char-CNN/Char-LSTM）或子词级（如 BPE）的嵌入，提升对未登录词的捕捉能力。 - **上下文嵌入**：在 BiLSTM 上层叠加 BERT、ELMo 等动态词向量（需权衡计算资源）。 --- ### **3. 模型结构改进** - **调整网络深度**： - 增加 BiLSTM 层数（例如 2-3 层），但需注意梯度消失/爆炸问题。 - 添加残差连接（Residual Connection）缓解深层网络训练困难。 - **注意力机制**： - 在 BiLSTM 后增加自注意力（Self-Attention）或层次化注意力（Hierarchical Attention），突出关键信息。 - **混合架构**： - 结合 CNN 提取局部特征（如 TextCNN + BiLSTM）。 - 在序列标注任务中，BiLSTM + CRF 是经典组合（如 NER 任务）。 - **正则化**： - 在 LSTM 层之间添加 Dropout（如 `recurrent_dropout`）防止过拟合。 - 使用 Layer Normalization 加速收敛。 --- ### **4. 超参数调优** - **学习率**：使用自适应优化器（如 Adam、AdamW）并配合学习率衰减（如 ReduceLROnPlateau）。 - **Batch Size**：较小的 batch（如 32-64）可能更适合序列数据，但需结合显存调整。 - **梯度裁剪**：设置梯度阈值（如 `clipnorm=5.0`）防止梯度爆炸。 - **早停（Early Stopping）**：监控验证集损失，避免过拟合。 --- ### **5. 训练策略** - **预训练与微调**：先在大规模通用语料上预训练 BiLSTM，再在目标任务上微调。 - **多任务学习**：共享 BiLSTM 编码层，同时训练多个相关任务（如情感分析 + 主题分类）。 - **课程学习（Curriculum Learning）**：从简单样本到困难样本逐步训练。 - **集成学习**：训练多个 BiLSTM 模型并融合结果（如投票、加权平均）。 --- ### **6. 评估与调试** - **监控指标**：除了准确率，关注 F1、AUC 等更全面的指标。 - **可视化工具**：使用 TensorBoard 分析训练曲线、注意力权重等。 - **错误分析**：统计模型在哪些样本上表现差，针对性改进（如调整数据分布或特征）。 --- ### **示例代码改进点（以 Keras 为例）** ```python from tensorflow.keras.layers import Bidirectional, LSTM, Dropout model = Sequential() # 使用预训练词向量，并微调 model.add(Embedding(input_dim=vocab_size, output_dim=300, weights=[pretrained_emb_matrix], input_length=max_len, trainable=True)) # 双层 BiLSTM + Dropout model.add(Bidirectional(LSTM(128, return_sequences=True, recurrent_dropout=0.2))) model.add(Dropout(0.3)) model.add(Bidirectional(LSTM(64))) # 输出层 model.add(Dense(num_classes, activation='softmax')) ``` --- ### **总结** 提升 BiLSTM 效果的关键在于： 1. **高质量数据**（清洗、增强、平衡） 2. **合适的嵌入表示**（预训练词向量 + 微调） 3. **模型复杂度与正则化的平衡**（层数、注意力、Dropout） 4. **科学的训练策略**（超参数调优、早停、集成） 建议通过消融实验（Ablation Study）逐步验证每个改进点的效果，找到最适合当前任务的组合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值