- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【李宏毅DL笔记】Network Compression
1 Resource limited Devices: Limited memory space, limited computing power, etc.2 Network Pruning（网络剪枝）.1）为什么神经网络可以进行剪枝？神经网络中有大量的冗余的参数、神经元（over-parametered）。2）网络剪枝：将不重要的参数或神经元进行移除，在对剪枝后的网络用原来的训练集进行微调，得到剪枝后的网络，并且可以进行迭代剪枝。具体如下：3）为什么要进行网络剪枝？① 因为小的网络很难
2020-10-18 22:30:22
300
原创 torch.nn.CrossEntropy()的输入输出
问题：torch.nn中的CrossEntropyLoss( )函数的输入输出？回答：通过阅读PyTorch的官方文档可知，CrossEntropyLoss()函数是结合了两个函数的函数类，分别是nn.LogSoftmax()和nn.NLLLoss()。可得该函数先对输入的Tensor求其LogSoftmax，得到Softmax结果的对数值，再对该结果与标签求解NLLLoss()（计算公式：loss(input, class) = -input[class]），最后求解平均值得到CrossEntropyL
2020-10-11 17:10:43
9025
原创 DLNLP学习笔记26（QA）
1 Question Answering.1）两个输入：① Question。② Knowledge source。2）一个输出：Answer。3）框架：2 Answer.1）Answer is simply a word.① A benchmark corpus: bAbI② 主要思想：将QA任务看成一个分类问题。2）Multiple Choices.① 实现：3）Span in Source / Extraction-based.① 两个corpus：SQuA
2020-09-20 17:06:48
463
原创 DLNLP学习笔记06（Speech Recognition: Neural Transducer模型&MoChA模型&总结）
1 Neural Transducer：根据一个window size将多个输入进行attention之后，再输入到decoder。实际实验结果，加了attention之后window size大小对模型效果影响不大。2 MoChA (Monotonic Chunkwise Attention)：动态地移动window。3 总结：...
2020-07-29 10:38:11
475
原创 DLNLP学习笔记05（Speech Recognition: RNN-T模型）
1 RNA (Recurrent NeuralAligner)，在CTC的输出端将线性分类器换成RNN，使得每一次token的输出都会参考前一刻输出的信息。问题：RNA和CTC都是一个输入对应一个输出，不能进行一个输入对应多个输出。例如，th为两个token，但输入可能只有一个（th的发音很短，只有一个音，使得输入的语音为一个输入单位）。2 RNN Transducer（输入端）：输入与输出标记Φ个数一致。问题：与CTC一样，存在aligment问题。3 输出端：在CTC的基础上，增加一个R.
2020-07-29 10:07:41
626
原创 DLNLP学习笔记03（Speech Recognition: LAS模型）
Listen, Attend, and Spell (LAS) [Chorowski. et al., NIPS’15]论文地址：https://arxiv.org/pdf/1508.01211.pdf1 模型简介：2 Listen：其中Encoder可以为RNN，CNN或者RNN+CNN。Listen-down sampling：（RNN）（CNN和Self-attention）【Dilated CNN（膨胀卷积），Truncated Self-attention（截断自注意
2020-07-28 20:31:26
639
原创 解决ubuntu下，github网页无法加载、加载慢、图片无法加载等问题
1sudo gedit /etc/hosts1）打开hosts文件进行修改（其中xxx.xxx.xxx.xxx为本机IP地址）：127.0.0.1 localhost127.0.1.1 galileo-HP-Pavilion-Notebookxxx.xxx.xxx.xxx github.com git13.250.177.223 github.com2）然后在后面继续添加：# GitHub Start192.30.253.112 github.com192.30.253.11...
2020-07-04 20:10:31
1001
stopwords.tar.gz
2020-07-30
lfw-funneled.tgz
2020-07-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人