![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习理论进阶
文章平均质量分 94
深度学习理论进阶
Clichong
这个作者很懒,什么都没留下…
展开
-
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
如有错误,恳请指出。这篇博客将记录我看视频后对知识蒸馏的笔记,视频链接见参考资料[1],其中包含知识蒸馏的算法原理(训练流程与测试流程),以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。在这篇博客中,主要都是介绍没有涉及具体的代码,我另外还将会记录一下知识蒸馏的测试过程,见另外的一篇博客。文章目录框架1. 知识蒸馏的算法原理1.1 知识的表示与迁移1.2 训练流程1.3 推理过程1.4 KD与Labe Smoothing的区别2. 知识蒸馏的应用场景3. 知识蒸馏的背后机理4. 知识蒸馏.原创 2022-03-19 11:50:55 · 6792 阅读 · 3 评论 -
学习笔记——Transformer结构的完整介绍
文章目录Introduction一、self-attention1.直观展示2.矩阵展示二、Multi-head self-attention三、Positional Encoding四、Transformer1.Encoder2.Decoder3.Cross attention五、Tips for Generation1.Schedualed Sampling2.Beam SearchIntroductionBert是无监督学习的transformer,transformer是一个seq2seq的m原创 2021-07-17 23:26:48 · 823 阅读 · 4 评论 -
学习笔记——seq2seq模型介绍
以下内容来源与李宏毅老师的课程。文章目录一、Generation二、Attention1.Dynamic Conditional Generation1)对于机器翻译的例子2)对于语音识别的例子3)对于图像操作的例子2.Memory Network1)结构一2)结构二3. Neural Turing Machine三、Tips for Generation1. Regularization term2. Mismatch between Train and Test解决方法1:Schedualed Sam原创 2021-07-17 16:58:04 · 714 阅读 · 0 评论 -
学习笔记——神经网络压缩
以下内容来源与李宏毅老师的课程。文章目录一、Network Pruning——网络剪枝二、Knowledge Distillation——知识蒸馏三、Parameter Quantization——参数量化四、Architecture Design——架构设计1. Full connect2. Depthwise Separable Convolution五、Dynamic Computation——动态计算当我们需要将模型部署在一些移动设备上时,但是现在的移动设备的资源是有限的,而存储的空间也是有限的原创 2021-07-15 16:43:57 · 731 阅读 · 4 评论 -
学习笔记——对抗攻击模型
以下内容来源与李宏毅老师的课程。文章目录一、攻击1.对抗攻击基本概念2.对抗攻击类型1)白盒攻击2)黑盒攻击3.对抗攻击例子**1)Universal Adversarial Attack(通用对抗性攻击)****2)Adversarial Reprogramming(对抗性重编程)****3)Attack in the Real World**二、防御1.Passive defense1)Feature Squeeze2)Randomization at Inference Phase2.Proacti原创 2021-07-15 16:30:49 · 3019 阅读 · 0 评论 -
学习笔记——可解释性的机器学习
以下内容来源与李宏毅老师的课程。文章目录一、Local Explanation:Explain the Decision1.Saliency Map二、GLOBAL EXPLANATION:EXPLAIN THE WHOLE MODEL1.Activation Minimization2.Constraint from Generator三、USING A MODEL TO EXPLAIN ANOTHER1.Local Interpretable Model-Agnostic Explanations (原创 2021-07-15 16:04:28 · 726 阅读 · 1 评论