【AI学习指南】九、PaddlePaddle自然语言处理-PaddleNLP SKEP情感分析定制化训练（万字长文附代码）

最新推荐文章于 2024-08-07 10:36:56 发布
最新推荐文章于 2024-08-07 10:36:56 发布
阅读量404 收藏 2
点赞数
分类专栏： AI学习指南 文章标签： 人工智能 paddlepaddle 自然语言处理 PaddleNLP AI学习指南
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44695727/article/details/135994573
版权
本教程详细介绍了如何使用PaddlePaddle的PaddleNLP库，基于SKEP模型进行情感分析的定制化训练。内容涵盖加载预训练模型、数据集准备、数据处理、模型训练、保存与预测，提供了完整的代码示例。
摘要由CSDN通过智能技术生成

目录

加载预训练模型到指定位置

加载分词器

准备数据集

train.tsv 文件内容示例：

dev.tsv 文件内容示例：

加载本地数据集

读取文件

数据预处理函数

数据处理

设置设备

设置学习率调度器

优化器和损失函数

评估模型

训练模型

保存模型

训练日志

预测函数

加载模型进行预测

完整代码

其他

处理序列分类任务的模型的区别

利用自己的数据训练/微调模型

参考PaddleNLP SKEP情感分析训练示例，完成数据准备和模型训练。

 

加载预训练模型到指定位置

指定了模型的缓存目录cache_dir，从远程服务器加载预训练模型时，PaddleNLP会首先将模型文件下载到这个缓存目录，以便后续可以更快地加载模型，而无需每次都从远程服务器下载。

from paddlenlp.transformers import SkepForSequenceClassification, SkepTokenizer

# 指定模型名称和缓存目录
model_name = "skep_ern
了解本专栏 订阅专栏 解锁全文 超级会员免费看
瑶山
关注
专栏目录
订阅专栏
【AI学习指南】八、PaddlePaddle自然语言处理-PaddleNLP的进阶应用
瑶山的博客
02-29 271
是一个有效的任务名称，用于执行文本摘要。该任务旨在生成输入文本的简短概述或摘要。# 定义文本摘要模型# 输入文本input_text = "党参有降血脂，降血压的作用，可以彻底消除血液中的垃圾，从而对冠心病以及心血管疾病的患者都有一定的稳定预防工作作用，因此平时口服党参能远离三高的危害。另外党参除了益气养血，降低中枢神经作用，调整消化系统功能，健脾补肺的功能。# 执行文本摘要任务# 输出摘要结果print("摘要结果：", summary)结果输出:党参能降低三高的危害。
C.2 产业应用实例：信息抽取{实体关系抽取、中文分词、精准实体标。情感分析等}、文本纠错、问答系统、闲聊机器人、定制训练
丨汀、的博客
06-07 3898
NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等 专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等前人栽树后人乘凉，本专栏提供资料：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合，省去你大把时间，效率提升。 帮助你快速完成任务落地，以及科研baselin
skepchup建筑外观模型
11-10
建筑外观
利用预训练模型SKEP进行情感分析
人工智能学习生
01-20 2448
本项目将详细全面介绍情感分析任务的两种子任务，句子级情感分析和目标级情感分析。 同时演示如何使用情感分析预训练模型SKEP完成以上两种任务，详细介绍预训练模型SKEP及其在 PaddleNLP 的使用方式。 本项目主要包括“任务介绍”、“情感分析预训练模型SKEP”、“句子级情感分析”、“目标级情感分析”等四个部分。
探索情感分析的新高度：Senta与SKEP模型
最新发布
gitblog_01151的博客
08-07 633
探索情感分析的新高度：Senta与SKEP模型 SentaBaidu's open-source Sentiment Analysis System.项目地址:https://gitcode.com/gh_mirrors/se/Senta 项目介绍 情感分析，作为人工智能领域的一个重要分支，旨在自动识别和提取文本中的主观信息，如倾向、立场、评价和观点。百度最新发布的情感预训练模型SKEP（Sen...
基于SKEP预训练模型进行语句级情感分析
m0_63642362的博客
02-01 1430
基于SKEP预训练模型，在chnsenticorp数据集上进行语句级别的情感分析
基于SKEP预训练模型进行目标级情感分析
m0_63642362的博客
02-01 2232
基于SKEP预训练模型，在seabsa16-phns数据集上进行目标级别的情感分析
【课程作业】情感分析方向SKEP: Sentiment Knowledge Enhanced Pretraining for Sentiment Analysis阅读报告
zoetu
12-02 1522
百度发表在ACL2020会议的SKEP情感分析预训练模型
情感分析工具测评
weixin_42936560的博客
06-11 2149
情感分析 情感倾向分析针对带有主观描述的中文文本，可自动判断该文本的情感极性类别并给出相应的置信度。情感类型分为积极、消极、中性。情感倾向分析能够帮助企业理解用户消费习惯、分析热点话题和危机舆情监控，为企业提供有力的决策支持。本文主要对两个情感分析的工具进行测评。 SnowNLP 是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所
Senta是一款百度开源的情感分析系统 情感分析旨在自动识别和提取文本中的倾向、立场、评价、观点等主观信息 .rar
07-05
情感分析是人工智能的重要研究方向，具有很高的学术价值。同时，情感分析在消费决策、舆情分析、个性化推荐等领域均有重要的应用，具有很高的商业价值。 近日，百度正式发布情感预训练模型SKEP（Sentiment ...
直播提醒｜今晚八点半，最硬核情感分析技术讲解来袭！内附SKEP详解+大作业指导！...
PaddlePaddle
06-15 596
点击左上方蓝字关注我们自然语言处理在线打卡营第六场直播开讲啦！直播时间6月15日（今晚）20:30 正式开讲！直播内容今晚八点半，百度NLP资深研发工程师、情感分析核心成员飞火流星将从情感...
『NLP打卡营』实践课5：文本情感分析
m0_63642362的博客
11-04 1025
本教程将详细介绍预训练模型SKEP如何完成句子级情感分析、对象级情感分析任务。
基于PaddleNLP的真假新闻分类（二）Skep模型
m0_63642362的博客
11-08 875
什么是假新闻？我们都听说过它，但它并不总是容易辨认。假新闻是一种黄色新闻或宣传，包括有目的的错误信息，随着社交媒体的兴起，它现在可以病毒式传播，今天我们来分析下老美上一任选举期间的新闻
情感分析预训练模型SKEP教程
qq_15821487的博客
05-23 3913
情感分析预训练模型SKEP使用教程 本项目将演示如何使用情感分析预训练模型SKEP完成句子级情感分析、对象级情感分析以及观点抽取任务。 此外，通过从情感分析任务，引入和介绍传统文本分类模型如TextCNN等、预训练模型SKEP及其在 PaddleNLP 的使用方式。 本项目主要包括“任务介绍”、“常用数据”、“传统情感分析模型TextCNN”、“情感分析预训练模型SKEP”等四个部分。 In [ ] !pip install --upgrade paddlenlp 情感分析任务 众所周知，人类自然语言
【PaddlePaddle】 情感分析（循环神经网络）
qq_41427568的博客
02-11 2083
除了上篇文章讲到的卷积神经网络，但是在自然语言处理方面，更多的是使用循环神经网络来完成相应的工作。这篇文章记录了如何使用PaddlePaddle搭建一个循环神经网络并且完成情感分析的模型训练。 目录训练模型预测数据全部代码 环境：ubuntu18.04 python版本：python2.7 训练模型 首先导入python模块，重点介绍一下imdb库，这是一个数据集的库，这个数据集是一个英文电影的评...
PaddleNLP评论观点抽取和属性级情感分析
m0_46665935的博客
12-16 486
在本实践中，我们将采用序列标注的方式进行评论观点抽取，具体而言，会抽取评论中的属性以及属性对应的观点，为此我们基于BIO的序列标注体系进行了标签的拓展：B-Aspect, I-Aspect, B-Opinion, I-Opinion, O，其中前两者用于标注评论属性，后两者用于标注相应观点。在抽取完评论观点之后，便可以有针对性的对各个属性进行评论。如图2所示，首先将评论属性和观点词进行拼接为"味道好"，然后将"味道好"和原文进行拼接，然后传入SKEP模型，并使用"CLS"位置的向量进行细粒度情感倾向。
情感分析：利用Ernie-进行电影评论的情感分析
YovcGit的博客
09-26 394
通过这个模型，我们可以对电影评论进行情感分类，从而帮助用户了解评论者的情感倾向。首先，我们需要准备数据集。确保数据集中的评论具有正面和负面情感的平衡，以便训练模型能够进行准确的情感分类。Ernie-是一个基于预训练的语言模型，具有强大的文本理解能力，能够对情感进行准确的分类。接下来，我们使用循环进行训练和评估，打印每个批次的损失和准确率。然后，我们定义一个Ernie-模型的类，该类继承自PaddlePaddle的Dygraph模块。该模型可以接收输入的电影评论，并预测评论的情感倾向，是积极的还是消极的。
基于PaddleNLP搭建评论观点抽取和属性级情感分析系统
m0_63642362的博客
01-03 2114
进行评论观点抽取，并针对抽取内容进行属性级情感极性分类
NLP之：百度SKEP
人工智能曾小健
01-07 1294
SKEP SKEP是百度研究团队提出的基于情感知识增强的情感预训练算法，此算法采用无监督方法自动挖掘情感知识，然后利用情感知识构建预训练目标，从而让机器学会理解情感语义。SKEP为各类情感分析任务提供统一且强大的情感语义表示。 百度研究团队在三个典型情感分析任务，句子级情感分类（Sentence-level Sentiment Classification），评价对象级情感分类（Aspect-level Sentiment Classification）、观点抽取（Opinion Role Labeli
基于paddlenlp的商品评论情感分析
05-17
好的，你想要了解如何使用PaddleNLP进行商品评论情感分析。首先，你需要准备一个数据集，其中包含商品评论和对应的情感标签（如正面、负面或中性）。可以从公开数据集中获得此类数据集，例如IMDB电影评论数据集或Amazon商品评论数据集。 接下来，你需要安装PaddleNLP库，可以使用以下命令进行安装： ``` pip install paddlenlp ``` 然后，你可以使用PaddleNLP中的预训练模型和数据处理工具来训练和评估情感分析模型。以下是一个示例代码，它使用了PaddleNLP中的情感分析模型和数据集： ```python import paddle import paddle.nn.functional as F from paddlenlp.datasets import load_dataset from paddlenlp.transformers import SkepForSequenceClassification, SkepTokenizer # 加载数据集 train_ds, dev_ds = load_dataset('chnsenticorp', splits=('train', 'dev')) # 定义模型和tokenizer model = SkepForSequenceClassification.from_pretrained('skep_ernie_1.0_large_ch', num_classes=3) tokenizer = SkepTokenizer.from_pretrained('skep_ernie_1.0_large_ch') # 定义数据处理函数 def convert_example(example, tokenizer, max_seq_length=512): # 将原始数据处理成 BertModel 接受的格式 if isinstance(example, str): example = {'text': example} encoded_inputs = tokenizer( text=example['text'], max_seq_len=max_seq_length) input_ids = encoded_inputs['input_ids'] token_type_ids = encoded_inputs['token_type_ids'] if 'labels' in example: label = example['labels'] return input_ids, token_type_ids, label else: return input_ids, token_type_ids # 定义数据加载器 batch_size = 32 train_loader = paddle.io.DataLoader( dataset=train_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size, shuffle=True) dev_loader = paddle.io.DataLoader( dataset=dev_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size) # 定义优化器和损失函数 optimizer = paddle.optimizer.AdamW(learning_rate=5e-5, parameters=model.parameters()) criterion = paddle.nn.CrossEntropyLoss() # 训练模型 epochs = 3 steps = 0 for epoch in range(1, epochs + 1): for batch in train_loader: input_ids, token_type_ids, labels = batch logits = model(input_ids, token_type_ids) loss = criterion(logits, labels) loss.backward() optimizer.step() optimizer.clear_grad() steps += 1 if steps % 10 == 0: print(f'Epoch [{epoch}/{epochs}], Step [{steps}], Loss: {loss.numpy()}') # 在验证集上评估模型 model.eval() correct = 0 total = 0 for batch in dev_loader: input_ids, token_type_ids, labels = batch logits = model(input_ids, token_type_ids) preds = F.softmax(logits, axis=1).argmax(axis=1) correct += (preds.numpy() == labels.numpy()).sum() total += len(labels) acc = correct / total print(f'Epoch [{epoch}/{epochs}], Val Acc: {acc}') model.train() ``` 该代码将使用SKEP模型进行训练和评估，并使用ChnSentiCorp数据集进行训练和验证。你可以使用类似的方法将自己的数据集和模型替换到这个示例中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

瑶山

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值