《昇思25天学习打卡营第17天》

接续上一天的学习

首先我们要了解下Score计算

根据公式(3)(3)计算正确标签序列所对应的得分,这里需要注意,除了转移概率矩阵𝐏P外,还需要维护两个大小为的向量,分别作为序列开始和结束时的转移概率。同时我们引入了一个掩码矩阵,将多个序列打包为一个Batch时填充的值忽略,使得ScoreScore计算仅包含有效的Token。

如图

除此之外还有Normalizer计算

Normalizer是𝑥对应的所有可能的输出序列的Score的对数指数和(Log-Sum-Exp)。此时如果按穷举法进行计算,则需要将每个可能的输出序列Score都计算一遍,共有多个结果。

在之中算法扮演着十分重要的角色

需要实现解码部分。我们要选择适合求解序列最优路径的Viterbi算法。与计算Normalizer类似,使用动态规划求解所有可能的预测序列得分。

文末附上打卡时间

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值