bert
Jack_Kuo
https://github.com/JackKuo666
展开
-
【bert】:在训练bert 语义相似的任务时,last ave state 的计算
在bert模型训练以及预测的时候,我们会使用到最后一层隐藏层的平均语义向量作为句向量,发现部分的计算方式如下:但是这里有一个问题,我们一般输入的文本是小于或者等于seqlen的,如果等于的话,这样计算没有问题。但是如果是小于的话,这里平均到的应该是按照具体整个batch中的每行的长度来计算的,所以这里的计算方式不是最准确的。...原创 2022-06-07 16:46:57 · 399 阅读 · 0 评论 -
【bert】: 在eval时pooler、last_hiddent_state、cls的区分
在使用bert的时候,有几种输出:、、的区分:原创 2022-06-06 17:43:38 · 2606 阅读 · 0 评论