bert中文文本情感分类微博评论挖掘之Bert实战应用案例-文本情感分类

置顶

AI深度学习算法实战代码解读

已于 2024-03-09 12:59:24 修改

阅读量8k

点赞数 11

分类专栏： NLP AI智能客服系列NLP高效一掌通轻松开发聊天机器人人工智能技术文章标签：自然语言处理 NLP BERT 文本分类深度学习

于 2019-07-15 18:25:27 首次发布

本文链接：https://blog.csdn.net/weixin_37479258/article/details/95987244

版权

本文介绍了如何利用Bert模型进行中文文本情感分类，详细讲解了数据准备、Bert预训练模型下载、处理器的修改以及模型的微调和预测。通过实例展示了在微博评论数据集上的应用，并提到了 bert-as-service 作为句子向量的使用。文章还提及了深度学习环境的搭建和阿里云服务器资源的利用。

摘要由CSDN通过智能技术生成

在这里插入图片描述
Bert模型全称Bidirectional Encoder Representations from Transformers，主要分为两个部分：1训练语言模型（language model）的预训练（pretrain）部分，2训练具体任务(task)的fine-tune部分。Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。

相比之前的Word Embedding模型,Bert 模型具有双向，多层，随机Mask,并且融合了自然语言处理前沿技术transformer 权重处理多种优点，可以说是ELMO、GPT、Word2Vec的集大成者。具体原理上的理解各位可以移步至张俊林博士解读BERT非常详尽清晰，有助于各位从理论上加深理解Bert的原理。本文主要从Bert实践角度，拎出实用的代码片段，来完成文本情感分类。

**数据准备：**七彩鹿互联网早教提供的微博“早教”热度话题评论数据源

首先下载Bert预训练模型：

google公布了一个参数较小的BERT预训练模型，点击下载。文件里有五个文件，其中bert_model.ckpt开头的文件是负责模型变量载入的，而vocab.txt是训练时中文文本采用的字典，最后bert_config.json是BERT在训练时，可选调整的一些参数。

修改 processor

任何模型的训练、预测都是需要有一个明确的输入，而BERT代码中processor就是负责对模型的输入进行处理。我们以分类任务的为例，介绍如何修改processor来运行自己数据集上的fine-tune。在run_classsifier.py文件中我们可以看到，google对于一些公开数据集已经写了一些processor，如XnliProcessor,MnliProcessor,MrpcProcessor和ColaProcessor。这给我们提供了一个很