- 博客(9)
- 资源 (2)
- 收藏
- 关注
原创 【李宏毅DL笔记】Network Compression
1 Resource limited Devices: Limited memory space, limited computing power, etc.2 Network Pruning(网络剪枝).1)为什么神经网络可以进行剪枝?神经网络中有大量的冗余的参数、神经元(over-parametered)。2)网络剪枝:将不重要的参数或神经元进行移除,在对剪枝后的网络用原来的训练集进行微调,得到剪枝后的网络,并且可以进行迭代剪枝。具体如下:3)为什么要进行网络剪枝?① 因为小的网络很难
2020-10-18 22:30:22
300
原创 torch.nn.CrossEntropy()的输入输出
问题:torch.nn中的CrossEntropyLoss( )函数的输入输出?回答:通过阅读PyTorch的官方文档可知,CrossEntropyLoss()函数是结合了两个函数的函数类,分别是nn.LogSoftmax()和nn.NLLLoss()。可得该函数先对输入的Tensor求其LogSoftmax,得到Softmax结果的对数值,再对该结果与标签求解NLLLoss()(计算公式:loss(input, class) = -input[class]),最后求解平均值得到CrossEntropyL
2020-10-11 17:10:43
9025
原创 DLNLP学习笔记26(QA)
1 Question Answering.1)两个输入:① Question。② Knowledge source。2)一个输出:Answer。3)框架:2 Answer.1)Answer is simply a word.① A benchmark corpus: bAbI② 主要思想:将QA任务看成一个分类问题。2)Multiple Choices.① 实现:3)Span in Source / Extraction-based.① 两个corpus:SQuA
2020-09-20 17:06:48
463
原创 DLNLP学习笔记06(Speech Recognition: Neural Transducer模型&MoChA模型&总结)
1 Neural Transducer:根据一个window size将多个输入进行attention之后,再输入到decoder。实际实验结果,加了attention之后window size大小对模型效果影响不大。2 MoChA (Monotonic Chunkwise Attention):动态地移动window。3 总结:...
2020-07-29 10:38:11
475
原创 DLNLP学习笔记05(Speech Recognition: RNN-T模型)
1 RNA (Recurrent NeuralAligner),在CTC的输出端将线性分类器换成RNN,使得每一次token的输出都会参考前一刻输出的信息。问题:RNA和CTC都是一个输入对应一个输出,不能进行一个输入对应多个输出。例如,th为两个token,但输入可能只有一个(th的发音很短,只有一个音,使得输入的语音为一个输入单位)。2 RNN Transducer(输入端):输入与输出标记Φ个数一致。问题:与CTC一样,存在aligment问题。3 输出端:在CTC的基础上,增加一个R.
2020-07-29 10:07:41
626
原创 DLNLP学习笔记03(Speech Recognition: LAS模型)
Listen, Attend, and Spell (LAS) [Chorowski. et al., NIPS’15]论文地址:https://arxiv.org/pdf/1508.01211.pdf1 模型简介:2 Listen:其中Encoder可以为RNN,CNN或者RNN+CNN。Listen-down sampling:(RNN)(CNN和Self-attention)【Dilated CNN(膨胀卷积),Truncated Self-attention(截断自注意
2020-07-28 20:31:26
639
原创 解决ubuntu下,github网页无法加载、加载慢、图片无法加载等问题
1sudo gedit /etc/hosts1)打开hosts文件进行修改(其中xxx.xxx.xxx.xxx为本机IP地址):127.0.0.1 localhost127.0.1.1 galileo-HP-Pavilion-Notebookxxx.xxx.xxx.xxx github.com git13.250.177.223 github.com2)然后在后面继续添加:# GitHub Start192.30.253.112 github.com192.30.253.11...
2020-07-04 20:10:31
1001
stopwords.tar.gz
2020-07-30
lfw-funneled.tgz
2020-07-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人