CTC损失函数 Transformer用的

CTC损失函数  Transformer用的

https://zhuanlan.zhihu.com/p/42719047

下面这篇论文中提到的

BERT应用的四个场景：

语句对分类，如语句相似度任务，语句蕴含判断等
单语句分类，如情感分类
QA任务，如阅读理解，将question和document构建为语句对，输出start和end的位置即可
序列标注，如NER，从每个位置得到类别即可。
  对于NSP任务来说，其条件概率表示为P = s o f t m a x ( C W T ) P=softmax(CW^T)P=softmax(CW 
T
 )，其中C CC是BERT输出中的[CLS]符号，W WW是可学习的权值矩阵。对于其它任务来说，可以根据BERT的输出信息作出对应的预测，在BERT的基础上再添加一个输出层便可以完成对特定任务的微调。

  其中Tok表示不同的Token，E EE表示嵌入向量，T i T_iT 
i
​
 表示第i ii个Token在经过BERT处理之后得到的特征向量。

https://blog.csdn.net/weixin_43886056/article/details/107960402