自然语言处理
guozhihao12345
这个作者很懒,什么都没留下…
展开
-
CTC算法详解
前言CTC全称Connectionist temporal classification,是一种常用在语音识别、文本识别等领域的算法,用来解决输入和输出序列长度不一、无法对齐的问题。在CRNN中,它实际上就是模型对应的损失函数。CRNN的模型结构如下图所示:其中的Feature sequence即为下文所说的x输入变量,Predicted sequence即为下文所说的y输出变量,此时x和y的长度是不一样的,所以CTC主要做的工作就是x和y的对齐。 再进行进一步叙述前,这里需要做几点说明。不管是在语转载 2020-10-30 19:14:27 · 3992 阅读 · 0 评论 -
一文看懂 Attention(本质原理+3大优点+5大类型)
Attention 正在被越来越广泛的得到应用。尤其是 BERT 火爆了之后。 Attention 到底有什么特别之处?他的原理和本质是什么?Attention都有哪些类型?本文将详细讲解Attention的方方面面。 Attention 的本质是什么 Attention(注意力)机制如果浅层的理解,跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。 Attention的本质 Attention 机制很像人类看图片的逻辑,当我们...转载 2020-10-24 14:51:10 · 3815 阅读 · 1 评论 -
图解Transformer(完整版)
作者: 龙心尘 时间:2019年1月 出处:https://blog.csdn.net/longxinchen_ml/article/details/86533005 原作者:Jay Alammar 原链接:https://jalammar.github.io/illustrat...转载 2020-10-24 09:29:14 · 688 阅读 · 0 评论