问答模型(五)——模型构建

最新推荐文章于 2024-08-08 16:27:24 发布
最新推荐文章于 2024-08-08 16:27:24 发布
阅读量2k 收藏 1
点赞数
分类专栏： 项目实训 文章标签： 深度学习 自然语言处理 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NewtonLoop/article/details/123531393
版权
该博客介绍了如何利用PaddleNLP库中的BERT模型进行答案抽取任务的Fine-tune。通过设置预训练模型、优化策略、学习率调度和损失函数，详细阐述了训练过程，包括定义CrossEntropyLossForSQuAD损失函数来计算start_loss和end_loss的平均值作为总损失。
摘要由CSDN通过智能技术生成

阅读理解本质是一个答案抽取任务，PaddleNLP对于各种预训练模型已经内置了对于下游任务-答案抽取的Fine-tune网络。

以下项目以BERT为例，介绍如何将预训练模型Fine-tune完成答案抽取任务。

答案抽取任务的本质就是根据输入的问题和文章，预测答案在文章中的起始位置和结束位置。基于BERT的答案抽取原理如下图所示：
在这里插入图片描述

# 设置想要使用模型的名称
model = ppnlp.transformers.BertForQuestionAnswering.from_pretrained(MODEL_NAME)

模型配置

设置Fine-Tune优化策略

适用于ERNIE/BERT这类Transformer模型的学习率为warmup的动态学习率。
在这里插入图片描述

# 训练过程中的最大学习率
learning_rate = 3e-5 
# 训练轮次
epochs = 1
# 学习率预热比例
warmup_proportion = 0.1
# 权重衰减系数，类似模型正则项策略，避免模型过拟合
weight_decay = 0.01


num_training_steps = len
最低0.47元/天 解锁文章
NewtonLoop
关注
专栏目录
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
丨汀、的博客
04-29 566
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 805
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
问答模型训练(一)
NewtonLoop的博客
03-13 1452
参考AI Studio----基于bert的模型的机器阅读理解 安装paddle2.0.2框架 执行以下命令安装（推荐使用百度源）： python -m pip install paddlepaddle==2.0.2 -i https://mirror.baidu.com/pypi/simple 修改下载到的paddle的源码 按理说下载好的库与参考链接中使用的库相同，在安装好该环境后就能直接使用。但实际情况是，pip安装的库与paddle的github仓库中的文件有所出入，因此将使用到的文件对照gi
【译】NLP——建立一个问答模型
张渊猛的博客
04-16 3502
最近在做一些nlp的工作，涉及到问答系统的构建，看到这篇文章觉得不错，遂翻译之，搬运一下。 先奉上原文：NLP — Building a Question Answering model 以下是翻译内容： 我最近完成了斯坦福大学的CS224n关于NLP的课程，很享受这个经历。在课程的final project中，我做了一个基于SQuAD（斯坦福问答数据集）的问答系统。在这篇博客中，我大概介绍一下这...
【AI大模型】如何构建一个大模型？看完你就知道了！
最新发布
DEVELOPERAA的博客
08-08 1712
根据 OpenAI 联合创始人 Andrej Karpathy 在微软 Build 2023 大会上公开的信息，OpenAI 使用的大语言模型构建流程如图1所示，主要包含四个阶段：预训练、有监督微调、奖励建模和强化学习。
检索问答模型
weixin_33790053的博客
11-09 361
前言 检索回答系统一般过程:1)构建好候选回答索引集,2)收到quary后,初步选出一些候选回答,3)quary和回答做matching,然后reranking,4)最后返回topk个回答. 排序reranking根据不同任务类型有不同方法. matching操作有如下模型使用: 1. DSSM(Deep Structured Semantic Models) 深度结构语义模型 ...
基于CNN的阅读理解式问答模型：DGCNN
Paper weekly
04-16 1110
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm早在年初的一文读懂「Attention is All You Need」| 附代码实现中就已经承诺过会分享 CNN 在 NLP 中的使用心得，然而一直不得其便。这几天终于下定决心来整理一下相关的内容了。背景事不宜迟，先来介绍一下模型的基本情况。模型特点本模型——我称之为 DGCNN——是基于 CNN 和简
问答模型方案设计
NewtonLoop的博客
03-10 806
方案设计图示 query: 用户的提问 passage: 文章 问答模型设计的是简单问题模型，即query的答案是从passage中抽取出的。query和passage经过数据预处理，得到id形式的输入，然后把query，passage的id形式输入到BERT模型，BERT模型经过处理会输出答案的位置，输出位置以后就可以得到相应的答案了。 ...
基于大语言模型的本地知识库问答系统构建方案
shiter编写程序的艺术
04-22 510
RAG 代表以下三个关键步骤「检索(Retrive)」 根据用户请求从外部知识源检索相关上下文。为此，使用嵌入模型将用户查询嵌入到与向量数据库中的附加上下文相同的向量空间中。这允许执行相似性搜索，并返回矢量数据库中最接近的前 k 个数据对象。「增强(Augment)」 用户查询和检索到的附加上下文被填充到提示模板中。「生成(Generate)」 最后，检索增强提示被馈送到 LLM。
NLP——Question Answering 问答模型
qq_42902997的博客
06-15 4052
语义分析（Semantic Analysis）：这一步涉及到理解问题的含义，可能包括命名实体识别（Named Entity Recognition，即识别出问题中的实体，如人名、地名等）、实体链接（Entity Linking，即把问题中的实体链接到知识库中的实体）和关系抽取（Relation Extraction，即理解问题中的实体之间的关系）。这可能是一种结构化的表示（例如一个包含实体、关系和关键词的图）或者一种分布式的表示（例如一个向量，由词嵌入模型如Word2Vec或BERT生成）。
NLP：训练一个中文问答模型Ⅰ
机器会学习的博客
03-13 3362
本文基于经典的NMT架构（Seq2Seq+Attention)，训练了一个中文问答模型，把问题到答案之间的映射看作是问题到答案的翻译。基于Tensorflow 2.x实现，分词采用了jieba，在中文词汇粒度上训练模型。
问答模型训练(二)——数据预处理
NewtonLoop的博客
03-16 2524
到目前为止，问答模型的代码已经全部写完并可以跑通啦，所以此篇以及后续的n篇里，内容会集中在复盘+细节修正上。 服务器选择 paddlepaddle和paddlenlp已经在自己的电脑上配置完成，但由于个人PC算力有限，在AI Studio上使用模拟我的8G CPU无GPU的环境进行模型训练时，无论如何调节batchsize，内存始终溢出。为了模型训练的效果，最终还是选择了在AI Studio上对模型进行训练。 同样，后续使用模型进行预测时，在数据预处理过程以及后续预测过程都出现了内存溢出的情况，因此拟用AI
QA问答模型实践
dabingsun的博客
03-06 2946
任务描述 给定中文问答对[（question, answer）,标签（label）], 通过构建模型，提升模型的准确率。 数据分析 数据清洗、分词后，进行统计，如下图可以得到：问题经过处理后最大的词数为37，最小2，平均10。答案经过处理后最大的词数为16892，最小1，平均20。 经过统计数据中labels, 正例与负例比例为3：97，数据中等偏严重的数据失衡，但是训练数据有10万个，...
问答模型（八） 训练NER模型
NewtonLoop的博客
06-05 217
NLPCC2016KBQA数据格式： 使用问题与三元组的第一个元素对albert模型进行训练
问答模型综述
NewtonLoop的博客
02-28 739
问答模型(八)——选用多种样例进行测试
NewtonLoop的博客
03-16 254
以下是一些自己ctrl+c ctrl+v的、不属于测试集的问题及段落，既测试模型在不同类问题上的表现，也测试能否处理仅有一条数据的数据集。 废话小编 数据形式： { "data": [ { "paragraphs": [ { "context": "王者荣耀520活动将会限时返场小乔&周瑜的情人节皮肤纯白花嫁&真爱至上。那么小乔纯白花嫁怎么获得呢?需要多少点券呢?相信不少玩家还
问题回答模型如何训练
weixin_42598278的博客
02-15 445
问题回答模型通常使用监督学习的方法进行训练，其训练过程可以分为以下几个步骤： 数据收集：收集足够的问答数据集，包括问题和对应的答案。数据集可以从已有的数据集中获取，也可以通过网络爬虫等方式从互联网上获取。 数据预处理：对数据进行预处理，包括文本清洗、分词、词向量化等操作，以便于计算机对其进行处理。 模型选择：根据任务的不同，选择适合的问题回答模型，比如基于深度学习的神经网络模型，如循环神经网...
AI两步实现 问答 摘要 翻译等(google-T5 模型)
zishuijing_dd的博客
12-19 920
两步实现问答 计算 实体识别 翻译等任务,智能n客服系统的必经之步
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值