![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知识点
朝日奈
三和大神
展开
-
《深度学习》整理
问题列表如何设置网络的初始值?*梯度爆炸的解决办法***神经网络(MLP)的万能近似定理*神经网络中,深度与宽度的关系,及其表示能力的差异**在深度神经网络中,引入了隐藏层(非线性单元),放弃了训练问题的凸性,其意义何在?**稀疏表示,低维表示,独立表示*局部不变性(平滑先验)及其在基于梯度的学习上的局限性*为什么交叉熵损失相比均方误差损失能提高以 sigmoid 和 soft...转载 2019-02-22 14:16:52 · 1784 阅读 · 0 评论 -
A-深度学习基础
深度学习基础相关专题《深度学习》整理CNN 专题RNN 专题优化算法专题随机梯度下降动量算法自适应学习率算法基于二阶梯度的优化算法Index过拟合与欠拟合降低过拟合风险的方法降低欠拟合风险的方法反向传播算法反向传播的作用/目的/本质反向传播的公式推导激活函数激活函数的作用——为什么要使用非线性激活函数?常见的激活函数整流线性单元...转载 2019-02-22 14:17:55 · 370 阅读 · 0 评论 -
A-深度学习实践
深度学习实践Index加速训练的方法内部方法外部方法加速训练的方法内部方法网络结构比如 CNN 与 RNN,前者更适合并行架构优化算法的改进:动量、自适应学习率./专题-优化算法减少参数规模比如使用 GRU 代替 LSTM参数初始化Batch Normalization外部方法深度学习训练加速方法 - CSDN博客G...转载 2019-02-22 14:18:25 · 141 阅读 · 0 评论