- 博客(3)
- 收藏
- 关注
原创 认识Bert模型
"""评估函数,用以评估数据集在神经网络下的精确度"""res = net(tokens_X) # 获得到预测结果sum_correct += (res.argmax(axis=1) == y).sum() # 累加预测正确的结果i += 8return sum_correct/len(comments_data) # 返回(总正确结果/所有样本),精确率"""训练bert_classifier分类器"""max_acc = 0.5 # 初始化模型最大精度为0.5。
2023-12-12 19:40:54 890
原创 transformer的具体应用:图像分类
在上面的结构图中可以看到,输入Encoder的最左侧部分添加了一个0*这个Token,这个就是额外添加的一个[class]token,单独用来处理类别信息,经过Encoder之后,需要单独将这个Token再提取出来,输入到MLP Head之中再输出分类结果。这一步的操作在论文中是直接采用切割的处理办法,但是在后面的代码实现中,采用了一种更巧妙的解决思路,就是利用一个卷积核大小为16x16,步距为16,卷积核个数为768的卷积层来进行实现。在Transformer中,位置编码的作用是为了记忆输入的语序信息。
2023-12-07 16:17:24 2461
原创 解析Bi-LSTM:双向长短时记忆网络的强大之处
后向的LSTMR依次输入“你”,“爱”,“我”得到三个向量{hR0,hR1,hR2}。最后将前向和后向的隐向量进行拼接得到{[hL0,hR2],[hL1,hR1],[hL2,hR0]},即{h0,h1,h2}。在更细粒度的分类时,如对于强程度的褒义、弱程度的褒义、中性、弱程度的贬义、强程度的贬义的五分类任务需要注意情感词、程度词、否定词之间的交互。举一个例子,“这个餐厅脏得不行,没有隔壁好”,这里的“不行”是对“脏”的程度的一种修饰,通过BiLSTM可以更好的捕捉双向的语义依赖。如句子“我不觉得他好”。
2023-11-29 22:06:03 1544
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人