BILSTM+CRF

已于 2023-08-15 07:00:29 修改
阅读量36 收藏
点赞数
分类专栏： NLP 文章标签： 自然语言处理
于 2020-06-17 22:41:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41128383/article/details/106796606
版权

根据标签的数据对数据处理
模型选择
BILSTM+CRF
为什么选择加CRF

CRF特征特征提取函数变成了BILSTM

化目标变了
真实序列最大概率化全局的（真除以所有的可能），并且学习到当前时刻的状态与其他状态的关系

分母是真实序列的值 所有可能的隐状态的序列值求和 全局归一化

损失函数包括两部分：真实序列的分值 -所有序列的分值求指数再求和再求对数

所有可能的隐状态的序列值求和 使用前向算法 RNN
每一时刻最归一化是局部 HMM

最终的损失函数是真实序列的分数-指数和再进行对数计算

加了CRF优化的目标函数已经变了发射矩阵分数+转移矩阵分数
学习了一个转移矩阵，也就是约束条件
是真实序列的概率最大化

优

预测使用维特比算法
求所有可能的隐状态的序列值 最大的值

实现
标签加了两个 start end 给的值1000 对数函数图像接近为0
时刻也加了两个，其他为-10000 start为1 第一个为位置肯定是start 最后肯定是stop
为什么模拟了一个初始概率 最后一个肯定是end

一句话先求每一时刻的 最后求所有时刻的和

求指数

标签例如58中 这58中分别求指数 在求和 在log

分值最大的序列求出路径

损失函数第一项分值

类似RNN
先初始化一个转移1矩阵 使得只能从start开始
定义前向变量forawrd

for循环遍历每一句话的每一时间步的分数 保存 变量时间步列表 左后cat 求和 再经过指数 求和log函数得到第一句话的分值

损失函数第二项分值
在真实标签指导下求得的分数
定义一个score为累加做准备
为真实标签列表拼接一个start列表

编写损失函数的函数

forward使用位特比啊求解

别写评估函数
取出真实的标签

取出预测的标签

对比预测的 在真实的标签有多少

88
93
90

训练

预测
先将文本做char2id

baihaisheng
关注
专栏目录
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip
11-15
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 Pytorch实现基于BERT+ BiLSTM+CRF的命名实体...
基于轻量级albert实现albert+BiLstm+CRF的python源码.zip
03-02
基于轻量级albert实现albert+BiLstm+CRF的python源码.zip基于轻量级albert实现albert+BiLstm+CRF的python源码.zip基于轻量级albert实现albert+BiLstm+CRF的python源码.zip基于轻量级albert实现albert+BiLstm+CRF的...
基于Bert+BiLSTM+CRF的命名实体识别.zip
05-11
基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM+CRF的命名实体识别 基于Bert+BiLSTM...
基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目说明+模型+数据.zip
04-11
基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目说明+模型+数据.zip基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目说明+模型+数据.zip基于BERT+BILSTM+CRF进行中文命名实体识别python源码+项目...
基于bert+BiLSTM+CRF的法律文书命名实体识别（python源码+项目说明）（进行交通肇事案的事件要素抽取）.zip
03-06
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息...基于bert+BiLSTM+CRF的法律文书命名实体识别（python源码+项目说明）（进行交通肇事案的事件要素抽取）.zip
TypeError: iteration over a 0-d tensor
热门推荐
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
06-02 1万+
模型训练报错： TypeError: iteration over a 0-d tensor 解决： total_loss+=loss 换成如下方式 total_loss+=loss.item()
模型训练损失，正确率绘制曲线图
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
06-02 1万+
import matplotlib.pyplot as plt from matplotlib.pyplot import MultipleLocator # 创建第一张画布 plt.figure(0) # 绘制训练损失曲线 plt.plot(all_train_losses, label="Train Loss") # 绘制验证损失曲线, 颜色为红色 plt.plot(all_valid_losses, color="red", label="Valid Loss") # 定义横坐标刻度间隔对象,.
多分类交叉熵损失函数的梯度计算过程推导
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-13 5071
一、Softmax函数的导数 Softmax函数公式： Si 代表的是第i个神经元的输出 其中wij 是第i个神经元的第 j 个权重，b是偏移值。zi 表示该网络的第i个输出 隐藏层输出经过softmax： 具体过程如下图所示： z4 = w1x1+w2x2+w3x3 z5 = w4x1+w5x2+w6x3 z6 = w7x1+w8x2+w9*x3 经过softmax函数得到 多分类损失函数公式： 其中yi表示真实的分类结果 利用损失函数求梯度 已知不做推导 求解书过程推导： 如果i
获取词向量的方法及训练词向量的理解
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-23 4181
概述 在深度学习中，Embedding技术对于深度学习非常重要，甚至可以说是深度学习的“基本核心操作”。深度学习网络中作为Embedding层，完成从高维稀疏特征向量到低维稠密特征向量的转换。 使用One-hot编码对类别、Id型特征进行编码，导致样本特征向量极度稀疏，而深度学习的结构特点使其不利于稀疏特征向量的处理，因此几乎所有的深度学习都会由Embedding层负责将高维稀疏特征向量转换成稠密低维特征向量 常用的获取词向量的方法 利用网络embedding层训练词向量， FastText工具快速生
GRU
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-19 3867
GRU（Gated Recurrent Unit）门控循环单元结构， 它也是传统RNN的变体, 同LSTM一样能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时它的结构和计算要比LSTM更简单 网络结构： 将遗忘们和输入门组合为一个“更新门”，它合并了神经元状态和隐层状态，将t时间步的xt与t-1时间步的信息拼进行线性变换(乘以Wt的权重矩阵) 再经过sigmoid输出固定范围0到1之间的数值 重置门计算过程与更新门一样，只不过线性变换的参数和用处不一样而已 更新门用于控制前一时刻的状态信息
Transformer中掩码张量原理解析
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-21 2988
什么是掩码张量 掩代表遮掩，码就是我们张量中的数值，它的尺寸不定，里面一般只有1和0的元素，代表位置被遮掩或者不被遮掩，至于是0位置被遮掩还是1位置被遮掩可以自定义，因此它的作用就是让另外一个张量中的一些数值被遮掩，也可以说被替换, 它的表现形式是一个张量 掩码张量的作用 在transformer中, 掩码张量的主要作用在应用attention(将在下一小节讲解)时，有一些生成的attent...
模型的动态量化
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
07-03 2856
模型压缩： 模型压缩是一种针对大型模型(参数量巨大)在使用过程中进行优化的一种常用措施。它往往能够使模型体积缩小，简化计算，增快推断速度，满足模型在特定场合(如: 移动端)的需求。目前，模型压缩可以从多方面考虑，如剪枝方法(简化模型架构)，参数量化方法(简化模型参数)，知识蒸馏等 模型参数量化： 在机器学习（深度学习）领域，模型量化一般是指将模型参数由类型FP32转换为INT8/FP16的过程，如果转换为INT8，转换之后的模型大小被压缩为原来的¼，所需内存和带宽减小4倍，同时，计算量减小约为2-4倍。模型
Transformer编码器结构原理分析
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-22 2818
Transformer编码器部分 由N个编码器组成，每一个编码器有两个子层连接，一个是多头自注意力，规范化层及残差单元，另一个是前馈层，规范化层级残差单元 结构图如下 编码器中注意力下计算规则 注意力机制结构图： 注意力机制代码实现 def attion(query,key,value,mask=None,dropout=None): d_value=query.size(...
PyTorch的nn.Linear()的理解
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-30 2792
PyTorch的nn.Linear()的理解 torch.nn.Linear(in_features, out_features, bias=True) in_features输入的是二维张量的大小，输入[N, Hin]作为全连接层的输入，N一般指的是batch_size(样本数量），Him指的的是每一个样本的维度大小 out_features指的是输出的二维张量的大小，输出（N，Hout）N...
transformer编码器-解码器结构分析
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-24 2036
编码器-解码器结构的代码实现 class EncoderDecoder(nn.Module): def __init__(self,encoder, decoder, source_embed, target_embed, generator) super().__init__() self.encoder=enco...
凸凹函数
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-09 2024
定义：对于一元函数f(x)，如果对于任意tϵ[0,1]均满足：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)，则称f(x)为凸函数(convex function)；如果对于任意tϵ(0,1)均满足：f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2)，则称f(x)为严格凸函数(convex function) 几何理解 从几何上直观地理解凸函数的特点，凸函数的割线在函数曲线的上方 如何来判断一个函数是否是凸函数呢 对于一元函数f(x)，我们可以通过其二阶导数f′′(x
为什么LSTM能够缓解梯度消失梯度爆炸
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-28 1871
ft —遗忘门层，it — gt — 输入门层，ct ----细胞状态更新，ot 输出门*， ht 当前时刻的隐层输出 根据BPTT推导得： 从上述公司可知三个门的激活函数是sigmoid， 也就是输出要么接近于0 ， 要么接近于1。这就使得 当门为1时， 梯度能够很好的在LSTM中传递，很大程度上减轻了梯度消失发生的概率， 当门为0时，说明上一时刻的信息对当前时刻没有影响， 我们也就没有必要传递梯度回去来更新参数了。所以， 这就是为什么通过门机制就能够缓解梯度的原因 ...
N-gram提取特征
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-15 1707
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。 每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。 该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到
BIlstm+crf
最新发布
05-07
BIlstm+crf是一种常用于序列标注任务深度学习模型。它结合了双向长短时记忆网络（Bidirectional LSTM）和条件随机场（CRF）两个组件。 首先，双向LSTM是一种循环神经网络（RNN）的变体，它能够有效地捕捉输入序列中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值