m0_74096414的博客

"""评估函数，用以评估数据集在神经网络下的精确度"""res = net(tokens_X) # 获得到预测结果sum_correct += (res.argmax(axis=1) == y).sum() # 累加预测正确的结果i += 8return sum_correct/len(comments_data) # 返回(总正确结果/所有样本)，精确率"""训练bert_classifier分类器"""max_acc = 0.5 # 初始化模型最大精度为0.5。

在上面的结构图中可以看到，输入Encoder的最左侧部分添加了一个0*这个Token，这个就是额外添加的一个[class]token，单独用来处理类别信息，经过Encoder之后，需要单独将这个Token再提取出来，输入到MLP Head之中再输出分类结果。这一步的操作在论文中是直接采用切割的处理办法，但是在后面的代码实现中，采用了一种更巧妙的解决思路，就是利用一个卷积核大小为16x16，步距为16，卷积核个数为768的卷积层来进行实现。在Transformer中，位置编码的作用是为了记忆输入的语序信息。

后向的LSTMR依次输入“你”，“爱”，“我”得到三个向量{hR0，hR1，hR2}。最后将前向和后向的隐向量进行拼接得到{[hL0，hR2]，[hL1，hR1]，[hL2，hR0]}，即{h0，h1，h2}。在更细粒度的分类时，如对于强程度的褒义、弱程度的褒义、中性、弱程度的贬义、强程度的贬义的五分类任务需要注意情感词、程度词、否定词之间的交互。举一个例子，“这个餐厅脏得不行，没有隔壁好”，这里的“不行”是对“脏”的程度的一种修饰，通过BiLSTM可以更好的捕捉双向的语义依赖。如句子“我不觉得他好”。