NLP
苦恼的疯疯
一个无情的学习机器!
展开
-
DLNLP学习笔记26(QA)
1 Question Answering.1)两个输入:① Question。② Knowledge source。2)一个输出:Answer。3)框架:2 Answer.1)Answer is simply a word.① A benchmark corpus: bAbI② 主要思想:将QA任务看成一个分类问题。2)Multiple Choices.① 实现:3)Span in Source / Extraction-based.① 两个corpus:SQuA原创 2020-09-20 17:06:48 · 465 阅读 · 0 评论 -
DLNLP学习笔记14(NLP Tasks)
1原创 2020-08-13 16:57:21 · 250 阅读 · 0 评论 -
DLNLP学习笔记06(Speech Recognition: Neural Transducer模型&MoChA模型&总结)
1 Neural Transducer:根据一个window size将多个输入进行attention之后,再输入到decoder。实际实验结果,加了attention之后window size大小对模型效果影响不大。2 MoChA (Monotonic Chunkwise Attention):动态地移动window。3 总结:...原创 2020-07-29 10:38:11 · 480 阅读 · 0 评论 -
DLNLP学习笔记05(Speech Recognition: RNN-T模型)
1 RNA (Recurrent NeuralAligner),在CTC的输出端将线性分类器换成RNN,使得每一次token的输出都会参考前一刻输出的信息。问题:RNA和CTC都是一个输入对应一个输出,不能进行一个输入对应多个输出。例如,th为两个token,但输入可能只有一个(th的发音很短,只有一个音,使得输入的语音为一个输入单位)。2 RNN Transducer(输入端):输入与输出标记Φ个数一致。问题:与CTC一样,存在aligment问题。3 输出端:在CTC的基础上,增加一个R.原创 2020-07-29 10:07:41 · 631 阅读 · 0 评论 -
DLNLP学习笔记04(Speech Recognition: CTC模型)
1原创 2020-07-29 09:44:41 · 347 阅读 · 0 评论 -
DLNLP学习笔记03(Speech Recognition: LAS模型)
Listen, Attend, and Spell (LAS) [Chorowski. et al., NIPS’15]论文地址:https://arxiv.org/pdf/1508.01211.pdf1 模型简介:2 Listen:其中Encoder可以为RNN,CNN或者RNN+CNN。Listen-down sampling:(RNN)(CNN和Self-attention)【Dilated CNN(膨胀卷积),Truncated Self-attention(截断自注意原创 2020-07-28 20:31:26 · 646 阅读 · 0 评论