深度学习100问❤️
问
我是管小亮
纸上得来终觉浅,绝知此事要躬行
包括但不局限于机器学习,深度学习,自然语言处理,计算机视觉,知识图谱,还有Python,C++,TensorFlow,Pytorch,Keras,PaddlePaddle等,不定时分享资源(电子书/项目/工具),学习路线,思考,面经等!!!
展开
-
深度学习100问之提高深度学习模型训练效果(调参经验)
声明1)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。2)博主才疏学浅,文中如有不当之处,请各位指出,共同进步,谢谢。3)此属于第一版本,若有错误,还需继续修正与增删。还望大家多多指点。大家都共享一点点,一起为祖国科研的推进添砖加瓦。文章目录声明:zap: 0、前言:art: 1、网络结构:card_file...原创 2020-01-20 20:06:36 · 10371 阅读 · 5 评论 -
深度学习100问之深入理解Batch Normalization(批归一化)
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift - 原文Batch Normalization的论文翻译论文解读精读深度学习论文(3) Batch Normalization一、概念批归一化,或者批标准化,原文中的表达是 “Batch Normal...原创 2019-04-02 11:03:40 · 18932 阅读 · 19 评论 -
深度学习100问之深入理解Back Propagation(反向传播)
这几天正在看反向传播的原理,最近也经常看到关于反向传播理解的文章,在深度学习的理论中反向传播也是极其重要的,所以就抽出一段时间认真地研究了一下反向传播的原理,以下为参考网上的几篇文章总结得出的。...原创 2019-04-03 10:22:37 · 13595 阅读 · 9 评论 -
深度学习100问之深度学习的本质
今天在查找网上的BP博文(【深度学习】backpropagation(反向传播))进行总结和撰写时发现了一篇博客和一个帖子引发了我的深刻思考,以下是分别的链接:Yes you should understand backpropLeaky abstraction这篇博文可能会沉底,因为我目前深度学习的水平还太低,没办法做到深刻的理解和解释,所以这会是一个坑。如果有人交流,我会虚心并且认真地...原创 2019-04-03 14:12:15 · 7703 阅读 · 3 评论 -
深度学习100问之深入理解Vanishing/Exploding Gradient(梯度消失/爆炸)
这几天正在看梯度消失/爆炸,在深度学习的理论中梯度消失/爆炸也是极其重要的,所以就抽出一段时间认真地研究了一下梯度消失/爆炸的原理,以下为参考网上的几篇文章总结得出的。本文分为四个部分:第一部分主要介绍深度学习中一些关于梯度消失/爆炸(Vanishing/Exploding Gradient)的基础。第二部分主要介绍深度学习中什么是梯度消失/爆炸;第三部分主要介绍怎么解决梯度消失/爆炸。一...原创 2019-04-06 16:55:00 · 13896 阅读 · 2 评论 -
深度学习100问之学习率衰减
专栏【超分辨率】目录前言如何使用本教程常用的学习率衰减指数衰减实例对比推荐代码总结参考文章前言最近在进行神经网络的训练的时候,经常会遇到这种情况:在多次进行训练尝试之后,为了平衡模型的训练速度和损失大小,选择了一个相对比较合适的学习率,但是训练集的损失下降到一定的程度后,就出现不在下降的情况,在一个范围内上下浮动。比如:使用 MSE 均方误差损失函数,在训练中出现 MSE 一直在0.01到...原创 2019-05-26 18:14:49 · 4966 阅读 · 2 评论 -
深度学习100问之神经网络中解决过拟合的几种方法
https://medium.com/@nh4mq/avoiding-overfitting-through-regularization-in-nns-56a0ff6e6a72前言深度神经网络训练过程中存在一些问题。首先,你将面临一个棘手的梯度消失问题(或相关的爆炸梯度问题),它会影响深层神经网络,并使较低层很难训练。其次,有了如此庞大的网络,训练将非常缓慢。最后,一...原创 2019-06-09 16:26:18 · 8942 阅读 · 1 评论 -
深度学习100问之深入理解Regularization(正则化)
声明1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献。2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。3)博主才疏学浅,文中如有不当之处,请各位指出,共同进步,谢谢。4)此属于第一版本,若有错误,还需继续修正与增删。还望大家多多指点。大家都共享一点点,一起为祖国科研的推进添...原创 2019-09-09 20:05:31 · 6387 阅读 · 7 评论