【中文论文1】基于BERT-BIGRU的短文本多分类情感分析

BERT刚出来的时候发这篇论文还行，现在的话就毫无创新了。

因为有了代码的经验，再看之前的那些论文似乎就觉得很容易了，今天这篇是很简单的一篇《基于 BERT-BiLSTM 的短文本情感分析 杨奎河，刘智鹏》，没有什么创新的，不过他在论文中写的内容倒是可以帮助我理解代码。

仿照这篇，我也能写出一篇BERT-BIGRU的论文，还是多情感分类的。

模型结构：

文本向量化表示层：常用的 Word2vec是以词为处理单元的文本向量表示方法，过程繁琐，需经历文本预处理、特征提取、特征向量表示、 向量拼接，最后才能生成文本的向量表示形式，其中在文本预处理阶段分词的精度问题直接影响后续过程和结果。本文又是在处理短文本任务，考虑到短文本的特点。因此采用的是以字为处理单位的 BERT 模型，将文本中每个字映射成 k 维 的字向量形式 ，并输入给其他深度学习模型。
简单一句话：用BERT预训练的字向量将文本向量化

**bilstm层：**增加该层的目的是，让模型在结合上下文语义的情况下， 能够更充分的提取到文本的情感特征，为下一步实现情感预 测打下良好的基础。
简单一句话，用bilstm获得相关字的语义表示。提取字之前的关系。
但是由于RNN系列的模型都会有长依赖的问题（读了后面的前面就会遗忘），还有不能并行化的问题所以transformers横空出世。GRU比起LSTM来说参数更少，效果