![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
一碗白开水一
这个作者很懒,什么都没留下…
展开
-
c t c you should know
CTC 原理看了那么多的原理,觉得简单易懂的就这个:LOSS:如上图,对于最简单的时序为2的(t0t1)的字符识别,可能的字符为“a”,“b”和“-”,颜色越深代表概率越高。对于真实字符为空即“”的概率为0.60.6=0.36而真实字符为“a”的概率不只是”aa” 即0.40.4 , 实时上,“aa”, “a-“和“-a”都是代表“a”,所以,“a”的概率为:0.40.4 + 0.4 * 0.6 + 0.60.4 = 0.16+0.24+0.24 = 0.64所以“a”的概率比空“”的概率高原创 2021-12-13 17:17:02 · 1302 阅读 · 0 评论 -
language model ,you should know...
1、N-Gram在深度学习之前最常用的技术是N-gram语言模型问题:N-gram的问题是训练资料仍然不足,会限制精度,即某种N-gram没有出现并不能代表它们出现几率是0,language model smoothing的技术可以用来解决这一问题解决方法:方法来源于推荐系统中的矩阵分解,通过最小化目标函数来估计单词向量,如果两个单词向量越接近,则这两个单词后面接某个单词的概率应相似,通过h向量和v向量相乘来计算连续语言模型中的表格中的值。连续语言模型和深度学习的关系,即相当于只有一层的神经.原创 2021-01-21 14:10:30 · 105 阅读 · 0 评论 -
seq 2 seq, you should know...
encoder:decoder:对于图片也可以:原创 2021-01-18 15:25:34 · 66 阅读 · 0 评论 -
A t t e n t i o n , you should know...
由于seq2seq模型中,decoder 非常依赖encoder后的context.但context中的信息太多,不能针对性的生成正确的decoder.因此引入attention.Match函数可以自己设计,z1 是c0 输入到RNN后hidden layer的输出qj=WqZjq_j = W_qZ_jqj=WqZjki=Wkhik_i = W_kh_iki=Wkhivi=Wvhiv_i = W_vh_ivi=Wvhi[a1j,a2j,...,anj]=softmax([k1,k原创 2021-01-15 17:38:24 · 207 阅读 · 0 评论 -
T r a n s f o r m e r , you should konw...
首先被google提出的 transformer is all you need 中提出的。对于有时序的模型来说,RNN 是需要依靠前/后的信息,不能并行处理。Transformer 则采用CNN 替换rnn来实现并行处理。原创 2021-01-14 14:17:30 · 279 阅读 · 0 评论 -
R N N、L S T M原理与计算推导
RNNRNN简单结构图:计算推导:ht=fsigmoid(u∗xt+w∗ht−1)yt=fsigmoid(ht∗v)h_t = f_{sigmoid}(u*x_t+w*h_{t-1}) \\y_t = f_{sigmoid}(h_t*v)ht=fsigmoid(u∗xt+w∗ht−1)yt=fsigmoid(ht∗v)LSTM...原创 2019-08-22 17:54:24 · 1024 阅读 · 0 评论