python分词训练_CRF算法学习——自己动手实现Bi-LSTM+CRF分词（python）

最新推荐文章于 2021-02-21 10:20:10 发布
最新推荐文章于 2021-02-21 10:20:10 发布
阅读量1.3k 收藏 2
点赞数
文章标签： python分词训练
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42400643/article/details/112047582
版权

意图识别 <= Bi-LSTM+CRF <= 先懂CRF <= 先懂HMM <= 先懂EM

终于到这一步了，这一次要用python写了，使用tensorflow去写。关于tensorflow的使用不是我的重点。

相关代码还是在我的GitHub上。

题外话，idea可以安装一个python插件，然后设置一下python编译器，这样就可以在项目里既能运行java又能运行python了，美滋滋。

Bi-LSTM+CRF分词实现路线图

由于不是很会写python(就会用tensorflow....)，所以开始实现的代码比较ugly，然后又仿造着github比较好的项目重写了一版，所以有两个文件夹：uglybilstmcrf和bilstmcrf

思路

1.所有字构建字典，同时所有字变成字嵌入(可以利用gensim预训练字向量，也可以到时候随机生成)

2.得到字嵌入后，用字嵌入特征喂给双向LSTM

3.然后加一个CRF层，最小化CRF极大似然得到的对数极大似然值

4.训练结束以后，得到转移矩阵和Bi-LSTM的参数，直接利用viterbi解码

对着代码讲如何实现

这一部分用的bilstmcrf里面的代码，ugly的看看就好

首先定义一些占位符

word_ids是就是每个字对应的字典的id形成的list

比如“我爱北京天安门”这7个字，可能就会变成[305,249,70,291,58,131,254]这样的id序列。

因

最低0.47元/天 解锁文章
Stone.Wu
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Bi-LSTM-CRF的中文命名实体识别（简单源码解析）
Ding_xiaofei的博客
08-06 4828
概述 这篇博文主要进行源码的一些解析，至于像LSTM和CRF这种算法的原理不做过多的解释，在代码中它们也被简单的封装成一两行代码。CRF的理论至今很少见到比较详尽易懂的博客，基本是怼公式，我看得也是云里雾里，为了快速上手，还是决定从源码搞起，先把东西做了，再补细节。 代码部分 还是先放一张模型的整体图，希望大家有个整体的把握。 主要的就三层，look-up，lstm，crf，架构还是比较清晰的。...
【机器学习】【条件随机场CRF-1】CRF的矩阵形式表示的示例讲解 + Python实现
蔚蓝的天空Tom
05-11 6425
20180512下午完成此博客
bilstm+crf中文分词_最新中文NER模型介绍（二）
weixin_39850697的博客
11-24 501
深度学习时代中文NER出现了LSTM、LSTM+CRF、BERT、BERT+CRF等方法，前期主要单纯基于字信息或词信息（词信息需要更多的训练文本）。基于字的方法很少考虑词，但词又包含了大量的信息，如何有效利用词信息是近两年中文NER的主要工作。近期融合词信息工作主要可以分为结构融合和数据融合两类。结构融合通过调整模型结构融合词信息，数据融合主要通过多任务学习实现。结构融合>> Chi...
数学推导+纯Python实现机器学习算法23：CRF条件随机场
weixin_37737254的博客
07-24 1739
Python机器学习算法实现Author：louwillMachine Learning Lab 本文我们来看一下条件随机场（Conditional Random Fi...
机器学习&数据挖掘笔记_23（PGM练习七：CRF中参数的学习）
weixin_33734785的博客
01-10 378
  　　前言： 　　本次实验主要任务是学习CRF模型的参数，实验例子和PGM练习3中的一样，用CRF模型来预测多张图片所组成的单词，我们知道在graph model的推理中，使用较多的是factor，而在graph model参数的学习中，则使用较多的是指数线性模型，本实验的CRF使用的是log-linear模型，实验内容请参考 coursera课程：Probabilistic Graph...
用于中文实体识别提取的神经网络模型训练识别实例(BiLSTM-CRF)(pytorch)
奋斗客的博客
02-21 1万+
用于中文命名实体识别的递归神经网络 命名实体识别作为序列标注类的典型任务，其使用场景特别广泛。本项目基于PyTorch搭建BiLSTM+CRF模型，实现中文命名识别任务，代码已提交至Github（ GitHub： https://github.com/CaoYuGang/ChineseNER_BiLSTM ）。 模型 该模型是具有CRF层的双区域LSTM神经网络。汉字序列被投影到密集的向量序列中，并带有多余的特征作为循环层的输入，这里我们使用一个代表词边界特征的热向量进行说明。循环层是双向LSTM层，前向和
使用keras实现的基于Bi-LSTM + CRF的中文分词+词性标注（python）
04-23
python tools/data_preprocess.py people-2014/train 2014_processed -c True -s True 可将原文件转换为用BIS标签（B:表示语句块的开始，I:表示非语句块的开始，S:表示单独成词）标注的文件。 如上将会使用people-...
基于python实现深度学习bi-lstm-crf的（分词-词性标注-实体识别）实现
最新发布
06-20
基于python实现深度学习bi-lstm-crf的（分词_词性标注_实体识别）实现含有代码注释，新手也可看懂，个人手打98分项目，毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目系统功能...
基于Bi-LSTM + CRF+Keras的中文分词+词性标注Python源码+文档说明
02-06
不同于英文自然语言处理，中文自然语言处理，例如语义分析、文本分类、词语蕴含等任务都需要预先进行分词。要将中文进行分割，直观的方式是通过为语句中的每一个字进行标记，以确定这个字是位于一个词的开头还是之中...
基于BERT+BiLSTM+CRF实现中文命名实体识别源码（python课程设计）.zip
11-16
基于BERT+BiLSTM+CRF实现中文命名实体识别源码（python课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 基于BERT+BiLSTM+CRF实现中文命名实体识别源码...
Python-LSTMCRF命名实体识别序列标记
08-10
Neural (LSTM) version of the partial CRF model
基于lstm+crf的python实现
06-15
一个lstm、crf的开源实现，可用于中文命名实体识别
CRF，LSTM，最大后向匹配法实现中文分词
06-18
3种中文分词方法：最大后向匹配法，CRF，LSTM。其中LSTM又用了三种方法输入，glove向量，Word2vec向量，还有将字映射成整数再通过embedding层映射成字向量作为输入。还包含中文分词的评分脚本。
10-Bi-LSTM+CRF 实体识别.zip
08-23
在这个项目中，可能使用到了如NLTK、spaCy、TextBlob等Python NLP库进行数据预处理，以及TensorFlow、Keras或PyTorch等深度学习框架构建和训练Bi-LSTM+CRF模型。这些库提供了丰富的功能，包括分词、词性标注、停用词...
使用 CRF 做中文分词
INotWant的博客
06-23 7001
使用 CRF 做中文分词 概要 简述 CRF 问题描述（中文分词任务） 构建特征函数 CRF 学习算法（改进的迭代尺度法） CRF 预测算法（维特比算法） 注：以上实现只针对中文分词任务。 1. 简述 CRF 注，以下内容需要一定的学习成本，如有不适请跳至下一节（实战中学习）。但，建议先大概学一下理论！ 学习 CRF 的路线： 大概了解 概率图模型（将概率用图的方式表示出来，节点表事件，边代...
浅谈分词算法（4）基于字的分词方法（CRF）
weixin_30832351的博客
12-28 266
目录 前言 目录 条件随机场（conditional random field CRF） 核心点 线性链条件随机场 简化形式 CRF分词 CRF VS HMM 代码实现 训练...
条件随机场 python_利用条件随机场工具CRF完成中文分词
weixin_39785081的博客
12-08 352
之前用maxent进行中文分词，发现效果不是特别理想，所以又实验了下用CRF来进行中文分词。这里先简单介绍下什么是CRF(条件随机场)：introductionConditional random fields (CRFs) are a probabilistic framework for labeling and segmenting structured data, such as sequ...
Windows下CRF++ 分词实践及Python分词效果评测
mg1616的专栏
05-07 1万+
实践参照博文：中文分词入门之字标注法4步骤如下： 1. 下载 CRF++-0.58.tar.gz， 解压到 C:\path\crf++-0.58 下 2. 用 SWIG 工具得到 _CRFPP.pyd，CRFPP.py 两个文件。参见本博：Windows 7 x64系统安装CRFsuite给Python使用 3. 创建 模板文件如下：# Unigram U00:%x[-2,0] U01:%x[
TensorFlow教程——Bi-LSTM+CRF进行序列标注（代码浅析）
热门推荐
藏知阁
01-12 3万+
Bi-LSTM 使用TensorFlow构建Bi-LSTM时经常是下面的代码： cell_fw = tf.contrib.rnn.LSTMCell(num_units=100) cell_bw = tf.contrib.rnn.LSTMCell(num_units=100) (outputs, output_states) = tf.nn.bidirectional_dynamic_rn...
bert-bilstm-crf 中文分词
12-15
BERT-BiLSTM-CRF是一种基于深度学习的中文分词方法，它结合了BERT预训练模型、双向长短时记忆网络（BiLSTM）和条件随机场（CRF）模型。具体流程如下： 1. 预处理：将中文文本转换为字符序列，并将每个字符转换为对应的向量表示。 2. BERT编码：使用BERT模型对字符序列进行编码，得到每个字符的上下文表示。 3. BiLSTM编码：将BERT编码后的字符向量输入到双向LSTM中，得到每个字符的上下文表示。 4. CRF解码：使用CRF模型对BiLSTM编码后的结果进行解码，得到最终的分词结果。 以下是BERT-BiLSTM-CRF中文分词的Python代码示例： ```python import torch import torch.nn as nn from transformers import BertModel class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_tags): super(BertBiLSTMCRF, self).__init__() self.bert = BertModel.from_pretrained(bert_path) self.lstm = nn.LSTM(input_size=self.bert.config.hidden_size, hidden_size=self.bert.config.hidden_size // 2, num_layers=1, bidirectional=True, batch_first=True) self.dropout = nn.Dropout(p=0.5) self.fc = nn.Linear(self.bert.config.hidden_size, num_tags) self.crf = CRF(num_tags) def forward(self, input_ids, attention_mask): bert_output = self.bert(input_ids=input_ids, attention_mask=attention_mask)[0] lstm_output, _ = self.lstm(bert_output) lstm_output = self.dropout(lstm_output) emissions = self.fc(lstm_output) return emissions def loss(self, input_ids, attention_mask, tags): emissions = self.forward(input_ids, attention_mask) loss = self.crf(emissions, tags, mask=attention_mask.byte(), reduction='mean') return -loss def decode(self, input_ids, attention_mask): emissions = self.forward(input_ids, attention_mask) return self.crf.decode(emissions, attention_mask.byte()) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值