Bert系列模型情感分析任务对比实验

最新推荐文章于 2024-08-17 03:15:00 发布
最新推荐文章于 2024-08-17 03:15:00 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： nlp 情感分析 文章标签： bert 自然语言处理 深度学习 Finbert Roberta
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41475067/article/details/122580278
版权

实验介绍

实验数据信息

  • 实验数据来源：github
  • 实验任务：情感分析，二分类任务
  • 训练集大小：9600
  • 验证集大小：1200
  • 测试集大小：1200
  • 样本均衡情况：均衡
  • 参与对比的Bert系列模型包括：Bert、Finbert、Roberta

实验数据选型

  • 文本长度
    在这里插入图片描述
  • 最小长度：4
  • 最大长度：1992
  • 平均长度：108
Bert
  • 具体参数如下
  • 训练命令及参数
python run_classifier.py --task_name=emlo --do_train=true --do_eval=true --data_dir=./ChnSentiCorp_data --vocab_file=./uncased/chine
se_L-12_H-768_A-12/vocab.txt --bert_config_file=./uncased/chinese_L-12_H-768_A-12/bert_config.json --init_checkpoint=./uncased/chinese_L-12_H-768_A-12/bert_model.ckpt --max_seq_length=64 --train_batch_size=16 --learning_rate=2e-5 --num_train_epochs=3.0 --output_dir=./tmp/bert_out/
  • 预测命令及参数
python run_classifier.py --task_name=emlo --do_predict=true --data_dir=./ChnSentiCorp_data --vocab_file=./uncased/chinese_L-12_H-768_A-12/vocab.txt --bert_config_file=./uncased/chinese_L-12_H-768_A-12/bert_config.json --init_checkpoint=./tmp/bert_out/ --max_seq_length=64  --output_dir=./tmp/bert_emotion/
Finbert
  • 具体参数如下
  • 训练命令及参数
python run_classifier.py --task_name=emlo --do_train=true --do_eval=true --data_dir=./ChnSentiCorp_data --vocab_file=./uncased/FinBERT_L-12_H-768_A-12_tf/vocab.txt --bert_config_file=./uncased/FinBERT_L-12_H-768_A-12_tf/bert_config.json --init_checkpoint=./uncased/FinBERT_L-12_H-768_A-12_tf/bert_model.ckpt --max_seq_length=64 --train_batch_size=16 --learning_rate=2e-5 --num_train_epochs=3.0 --output_dir=./tmp/finbert_out/
  • 预测命令及参数
python run_classifier.py --task_name=emlo --do_predict=true --data_dir=./ChnSentiCorp_data --vocab_file=./uncased/FinBERT_L-12_H-768_A-12_tf/vocab.txt --bert_config_file=./uncased/FinBERT_L-12_H-768_A-12_tf/bert_config.json --init_checkpoint=./tmp/finbert_out/ --max_seq_length=64  --output_dir=./tmp/finbert_emotion/
Roberta
  • 具体参数如下
  • 训练命令及参数
python run_classifier.py --task_name=emlo --do_train=true --do_eval=true --data_dir=./ChnSentiCorp_data --vocab_file=./uncased/roberta_zh_l12/vocab.txt --bert_config_file=./uncased/roberta_zh_l12/bert_config.json --init_checkpoint=./uncased/roberta_zh_l12/bert_model.ckpt --max_seq_length=64 --train_batch_size=16 --learning_rate=2e-5 --num_train_epochs=3.0 --output_dir=./tmp/roberta_out/
  • 预测命令及参数
python run_classifier.py --task_name=emlo --do_predict=true --data_dir=./ChnSentiCorp_data --vocab_file=./uncased/roberta_zh_l12/vocab.txt --bert_config_file=./uncased/roberta_zh_l12/bert_config.json --init_checkpoint=./tmp/roberta_out/ --max_seq_length=64  --output_dir=./tmp/roberta_emotion/

实验效果对比

  • sentence_length= 64
BertPRF1
negative0.93240.93240.9324
postive0.93420.93420.9342
total0.93330.93330.9333
FinbertPRF1
negative0.92540.96450.9445
postive0.96390.92430.9437
total0.94410.94410.9441
RobertaPRF1
negative0.92060.94080.9306
postive0.94110.92100.9310
total0.93080.93080.9308
福将～白鹿
关注
专栏目录
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 795
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
LLM 系列——BERT——论文解读
TigerZ*的博客
02-28 1162
BERT是单模态“小”语言模型，是一个“Bidirectional Encoder Representations fromTransformers”的缩写，是一个语言预训练模型，通过随机掩盖一些词，然后预测这些被遮盖的词来训练双向语言模型（编码器结构）。可以用于句子分类、词性分类等下游任务，本身旨在提供一个预训练的基础权重。
BERT实现情感分析.
09-18
BERT模型的原理，并采用keras微调BERT实现了情感分析。BERT作为一个目前热门的预训练模型，其效果突出，在文本特征提取阶段均可采用该模型，再根据具体的业务场景对损失函数进行修改即可实现对应的模型搭建。当然在使用keras-bert之前建议读者务必弄清楚其原理，毕竟知其然还需知其所以然。
bert模型图解 很详细的与其他模型对比实验
studyvcmfc的专栏
08-27 987
https://www.cnblogs.com/Milburn/p/12031501.html
【人工智能】使用先前训练好的BERT模型进行情感预测的Python程序
最新发布
weixin_46453070的博客
08-17 238
下面是一个使用先前训练好的BERT模型进行情感预测的Python程序。程序将读取指定文件夹中的多个JSON文件，并对每个文件中的评论内容进行情感分析，最后输出每个课程的正面情感比例。.2f。
使用BERT进行情感分析
weixin_41089007的博客
12-28 4190
年前最后一篇，就写个自己使用BERT的流程步骤，提前祝大家新年快乐~ ## STEP1：构建模型 class Config(object): """配置参数""" def __init__(self, dataset): self.model_name = 'bert' self.train_path = dataset + '/data/tr...
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
xuyupeng_sjtu的博客
07-31 3452
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
【深度学习】基于BERT模型的情感分析（附实战完整代码+数据集）
aaaa_hsjsueu的博客
02-15 1万+
情感分类是一个快速发展的研究领域，尽管众多模型和数据集在二分类任务中显示出很高的准确性，但细粒度的情感分类任务仍然是一个很大改进空间的领域。分析SST-5数据集，Munikar等人的先前工作表明，嵌入工具BERT允许使用简单的模型来实现最新的准确性。
应用BERT模型进行情感分析任务
本文旨在探讨并应用BERT模型进行情感分析的方法，通过深入分析和理解文本中的情感信息，提高情感分析的准确性和效果。通过构建情感分析模型，能够准确判断文本中的情感倾向，为后续的决策和分析提供有力支持。 ### ...
人工智能大作业：关于计算文本相似度的深度神经网络模型与算法研究分析(BERT、SentenceBERT、SimCSE).zip
10-26
SBERT采用Siamese或Triplet网络结构，通过微调BERT模型，使其能够学习到语义上更加接近的句子表示。这样，即使句子的表面形式不同，但语义相似的句子在向量空间中的距离也会更近。在文本相似度计算中，SentenceBERT...
基于Bert的文本情感分类
weixin_30924087的博客
06-27 6344
详细代码已上传到github:click me 摘 要: 情感分类是对带有感情色彩的主观性文本进行分析、推理的过程,即分析说话人的态度,推断其所包含的情感类别.传统机器学习在处理情感分类问题的时候通常是基于SVM、CRF、信息熵等传统算法,其优势在于具有对多种特征建模的能力,但要用人工标注的单个词作为特征，而语料的不足往往就是性能的瓶颈.对句子进行情感分类的难处在于如何抽取...
Python-通过构建辅助句子利用BERT进行情感分析的论文代码和语料库
08-10
“通过构建辅助句子利用BERT进行情感分析”的论文代码和语料库
Python-使用BERT进行多标签分类来AI挑战者的细粒度情感分析
08-10
Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger
基于文本筛选和改进BERT的长文本方面级情感分析
06-23
情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中，由于长文本存在一定冗余性和噪声大的问题，导致现有的方面级情感分析方法对于长文本中方面相关信息的特征提取不够充分，分类不精准；在方面分层为粗粒度和细粒度方面的数据集上，现有的解决方法没有利用粗粒度方面中的信息。针对以上问题，提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句，然后将部分语句按次序进行组合，并结合细粒度方面输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取，最后使用Softmax进行情感分类。通过与GCAE(Gated Convolutional Network with Aspect Embedding）、IAN（Interactive Attention Network）等经典模型相比，该算法在验证集上的相关评价指标分别提高了3. 66%和4. 59%；与原始BERT模型相比提高了0. 58%。
Python-本实验是用BERT进行中文情感分类记录了详细操作及完整程序
08-10
本实验，是用BERT进行中文情感分类，记录了详细操作及完整程序
中文情感分析语料
01-30
该资源包含计算机，酒店，蒙牛，热水器，手机，书籍，等方面，已分好类，有标签。总共将近30000条。还有搜狗新闻分类，和tr-croup-answer
基于BERT的情感分析模型
毕业作品网站
07-26 7576
目录 基于BERT的情感分析模型 1 一、 基于Transformer的词向量表示 1 各个词对 it 编码影响程度示意图 4 二、 数据收集及预处理 5
Bert 实现情感分析任务
hawk2014bj的博客
05-08 1435
Bert 模型比之前的 Transformer 模型实现的情感分析效果要好，但是BERT 只是实现了 Encoder Layer，如果需要做更复杂的任务还需要 Decoder Layer，例如翻译，对话等等。表示与每个Token关联的实际内容，当 Q 对应的Token被认为是重要的，相应的值就会在输出中获得更多的关注，V决定了自注意力的输出。Q 在自注意力层中代表当前词，Q 帮助模型理解在特定上下文中哪些信息是重要的，可以理解为：问那一个词在句子中是需要关注的。本文通过微调 BERT 实现情感分析。
基于 BERT 实现的情感分析(文本分类)----概念与应用
热门推荐
西小庄村高伟 的博客
11-17 2万+
一文详解Bert的发展由来，及如何使用Bert模型实现情感分析(文本分类任务)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值