（11-2）基于大模型的情感分析系统（Tensorflow+BERT+RoBERTa+Sklearn）：技术栈+模块架构

11.3  技术栈

本项目使用大模型技术实现，集成了BERT和RoBERTa大模型，利用它们在大规模文本数据上学到的深层语义表示，有效地解决了微博数据信息情感分析这一复杂的任务。

11.3.1  大模型技术

大模型技术是一种基于深度学习的方法，通过构建庞大的神经网络模型，以处理复杂的任务和大规模的数据。这种技术通常包括数以亿计的参数，通过大规模的训练集进行训练，以实现在多领域和多任务上的出色性能。

本项目实现了对BERT和RoBERTa大模型的训练工作，每个算法每个时期的训练时间约为11分钟，总共进行了4个时期，并利用GPU进行了加速。对这两个transformer的参数进行了微调，参数数量超过1亿，以在给定数据集上获得最佳性能。此外，指出了虽然可以仅对transformer的最后一层进行训练而不微调其他参数，但通常这会导致比微调方法更差的结果。

11.3.2  BERT大模型

BERT是一种基于Transformer结构的预训练语言模型，通过双向上下文理解实现了更全面的语义把握。在项目中，BERT被用于微博情感分析，通过在大规模文本数据上进行预训练，使其学到丰富的语义表示。在微调过程中，BERT的模型参数通过对冠状病毒微博进行微调，以更好地适应具体任务。

11.3.3  RoBERTa大模型

RoBERTa是对BERT的改进版本，通过进一步优化预训练过程，提高了模型的性能和鲁棒性。在本项目中，RoBERTa作为另一种大模型技术，同样用于微博情感分析任务。通过更大的批处理大小等优化，RoBERTa在处理冠状病毒微博的情感分析中表现出色。

综合来看，本项目中的大模型技术集成了BERT和RoBERTa，利用它们在大规模文本数据上学到的深层语义表示，有效地解决了微博情感分析这一复杂任务。

11.4  模块架构

本项目的模块架构如图11-1所示。

图11-1  模块架构图