使用BiLSTM对中文进行完形填空

已于 2023-03-28 10:17:11 修改
阅读量476 收藏
点赞数
分类专栏： NLP 文章标签： python nlp 训练 完形填空
于 2022-04-02 23:03:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/123930816
版权
NLP 专栏收录该内容
89 篇文章 54 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了如何使用BiLSTM模型解决中文完形填空问题。从获取数据、数据处理、制作数据集，到实例化模型、训练及结果输出，详细阐述了每个步骤。数据来源于huggingface的ChnSentiCorp酒店评测数据集，经过训练，模型在GPU上大约每10个EPOCH需要2分钟。
摘要由CSDN通过智能技术生成

使用BiLSTM对中文进行完形填空

题记

我之前用bert实现的完形填空

目标

eg：
输入：‘通过贺星龙孩子讲述的故事，我曾看到了一位?毅的父亲，一位全心全意为村民服务的乡村’
输出：‘坚’

简单来说，就是把？预测出来

BiLSTM

简介

在这里插入图片描述
当预测？时，只需要将对应time的输出层获取到就OK了，具体理由是：在识别实体时，每一个time的输出对应着各自的实体名。

了解本专栏 订阅专栏 解锁全文
使用biLSTM_CRF完成词性标注任务
weixin_56336619的博客
04-27 1004
使用Pytorch框架中定义好的biLSTM_CRF模型和超参数，主要目的是加深学习印象； 过去一段时间对序列标注任务学习的梳理，学习的过程中有不断修正之前的理解里谬误的地方；本文是对tutorial的示范例子的一次依葫芦画瓢，仅作为对之前学习内容的回顾总结和实践，最重要的还是先对知识和模型的学习！ pytorch的官方文档 学习过程做的笔记： 对biLSTM_CRF模型的理解 对pytorch官方文档里biLSTM_CRF模型的源码学习（一）整体理解 （二）预定义方法、模型的初始化工作 （三）前向传播
lstm 文本纠错_AI LIVE | 文本纠错技术探索和实践
weixin_39875832的博客
11-20 952
· 小PAI导读 ·「AI LIVE」是平安人寿AI团队打造的AI专业知识分享和学习专栏，将通过直播、沙龙等形式，分享平安寿险AI技术及创新成果，推动实现与AI领域同行共成长。本期「AI LIVE」将回顾我们在“AI研习社”直播间进行的主题为「文本纠错技术探索和实践」的技术分享，由平安人寿AI团队高级算法工程师陈乐清老师主讲。为了让大家能够快速get本期直播干货，小PAI特别整理了这篇直播内容文字...
完形填空
jingtingxu369的博客
10-09 1706
step1：读每个段落的首句，了解文章讲了什么，以及文章的逻辑关系。 step2：把有把握的先全部做完，然后做没把握的。 有把握的分为以下几种情况： （1）逻辑副词：moreover、however、indeed、therefore…… 方法：只考虑逻辑副词前后两句话之间的关系 ___A句___,__逻辑副词____,___B句___ 做题技巧： ①分析句子成分，知道
自动完形填空系统构建-基于n元模型构建的朴素系统
06-27
在语义连贯的句子中去掉一个词语，形成空格，要求在给出的对应备选答案中，系统自动选出一个最佳的答案，使语句恢复完整。 该项目基于python2.7 需要import nltk 在项目中包含了部分训练语料需要自行丰富 需要全部训练语料的请留下邮箱
nlp_cloze_test:用word2vec做完形填空
05-09
问题描述 在语义连贯的句子中去掉一个词语，形成空格，要求在给出的对应备选答案中，系统 自动选出一个最佳的答案，使语句恢复完整。 相关语料 1、 train_data文件夹： 1.常老师提供的522个txt格式的文件 2.从 一共有811个训练文本 2、 test_data文件夹: 1、 Development_set： 一份含有 240 句话的语料及答案 2、 test_set： 一份含有 800 句话的测试语料，每句话有一个空格和 5 个备选答案 3、 middle_data文件夹： 存放数据预处理后的文本文件，方便进行后续训练 4、 model文件夹： 存放模型 5、data_preprocess.py 进行数据预处理 6、train_model.py 模型训练 7、test_data_score.py 输出测试集的准确率和输出结果文件 评测方法 准确率＝正确填空句子的个数/全部句子的
BiLSTM之一：模型理解
热门推荐
芳樽里的歌的博客
10-13 6万+
本文着眼于内部计算过程而不是数据原理，分别总结了RNN，BiRNN，LSTM以及BiLSTM等神经网络模型内部结构。
利用rnn网络和lstm网络进行下一个字的预测使用BiLSTM对中文进行完形填空
03-26
利用rnn网络和lstm网络进行下一个字的预测 eg： `输入`：**我觉得这个【向后输出20个字】** `输出`：**我觉得这个地方便，但是一个人的，但是一个人的，但是一个**
使用BiLSTM进行中文完形填空与字预测
"这篇资源主要讨论如何利用RNN(循环神经网络)和LSTM(长短时记忆网络)进行中文文本的下一个字预测任务，并通过BiLSTM(双向LSTM)来实现中文完形填空的功能。示例展示了输入一段文本后，模型能够预测接下来的多个汉字，...
基线理解_机器阅读理解探索与实践
weixin_39617497的博客
12-24 254
​1. 背景机器阅读理解，又称阅读理解问答，要求机器阅读并理解人类自然语言文本，在此基础上，解答跟文本信息相关的问题。该任务通常被用来衡量机器自然语言理解能力，可以帮助人类从大量文本中快速聚焦相关信息，降低人工信息获取成本，在文本问答、信息抽取、对话系统等领域具有极强的应用价值。近年来，机器阅读理解受到工业界和学术界越来越广泛的关注，是自然语言处理领域的研究热点之一。2. 机器阅读理解机器阅读理解...
bert中文填空训练结果
MyHeartWillGoOn
03-14 1052
文章目录题目参考训练结果 题目 中文填空 参考 中文完形填空github 训练结果 #测试 checkpoint = torch.load(output_model,map_location='cpu') # print(checkpoint) model.load_state_dict(checkpoint['model_state_dict'],strict=False) model.to(device) def test(): model.eval() correct = 0
没有深挖的RNN，LSTM（浅显易懂）
qq_44827840的博客
11-09 569
RNN 是什么？ RNN（Recurrent Neural Network）：循环神经网络，是一类处理序列数据的神经网络，以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network），能够更好的处理序列数据。就是前面的数据和后面的数据是有关系的。比如我们在读一句话的时候，我们不能孤立的理解每个词，我们需要往往需要通过上一个词更好的理解下一个词，比如，我 吃 苹果，如果忽略了吃，那么此时的
实体关系抽取——BiLSTM+crf
bobobe的专栏
05-28 4万+
本篇文章假设你已有lstm和crf的基础。 BiLSTM+softmax lstm也可以做序列标注问题。如下图所示： 双向lstm后接一个softmax层，输出各个label的概率。那为何还要加一个crf层呢？ 我的理解是softmax层的输出是相互独立的，即虽然BiLSTM学习到了上下文的信息，但是输出相互之间并没有影响，它只是在每一步挑选一个最大概率值的label输出。这样就会导...
NLP知识要点总结
Deep Learning and NLP Farm
06-30 481
NLP四大任务类型：分类、序列标注、文本匹配、文本生成 练习地址：https://github.com/FudanNLP/nlp-beginner https://www.zhihu.com/question/324189960
bilstm-crf
weixin_43977748的博客
07-09 461
转载自作者bobobe 本篇文章假设你已有lstm和crf的基础。 BiLSTM+softmax lstm也可以做序列标注问题。如下图所示： 双向lstm后接一个softmax层，输出各个label的概率。那为何还要加一个crf层呢？ 我的理解是softmax层的输出是相互独立的，即虽然BiLSTM学习到了上下文的信息，但是输出相互之间并没有影响，它只是在每一步挑选一个最大概率值的label
最全中文自然语言处理数据集、平台和工具整理
zenRRan的博客
11-04 3243
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要9分钟跟随小博主，每天进步一丢丢来自：深度学习与NLP资源整理了文本分类、实体识别&词性标注、搜索匹配、推荐系统、...
BiLSTM维度详解
小马日记
03-16 1万+
一、BiLSTM 之前文章有介绍过LSTM，BiLSTM就是由前向的LSTM与后向的LSTM结合而成。比如，我们对“我爱中国”这句话进行编码，模型如图所示。 二、二种BiLSTM的应用 1、字向量表示 前向的LSTMLLSTM_LLSTML​一次输入“我”，“爱”，“中国”得到三个向量{hL0h_L0hL​0，hL1h_L1hL​1，hL2h_L2hL​2}。后向的LSTMRLSTM_RLST...
keras lstm softmax 多对多
weixin_30897079的博客
10-16 429
# multinput and multioutput from numpy import array from keras.models import Sequential from keras.layers import Dense from keras.layers import TimeDistributed from keras.lay...
NLP14：基于BiLSTM-Attention的的关系分类
大雄没有叮当猫的博客
11-07 5804
公众号：数据挖掘与机器学习笔记 《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》是2016年由中国科学技术大学Peng Zhou等在ACL发表的论文，本文是对该论文的简单解读和代码复现。 1.模型结构 现在来看，模型的结构还是比较简单的，主要包括5部分，分别是输入层、词嵌入层、BiLSTM层、Attention层和softmax输出层。 1.1 输入层 输入的是句子，可以是
LSTM原理及实现
北冥有小鱼
08-01 1万+
转自：https://blog.csdn.net/gzj_1101/article/details/79376798 LSTM原理及实现 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>