![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
will01233210
这个作者很懒,什么都没留下…
展开
-
pip更换为清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple原创 2020-07-19 11:42:31 · 1516 阅读 · 0 评论 -
详解机器学习中的梯度消失、爆炸原因及其解决方法
前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主要介绍深度学习中梯度消失及爆炸的原因,第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中,梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调- 梯度剪切、权重正则(针对梯度爆炸)- 使用不同的激活函数- 使用bat转载 2018-04-06 00:53:51 · 369 阅读 · 0 评论 -
iteration、batch_size、epoch的区别
三者的区别:(1)iteration:表示1次迭代,每次迭代更新1次网络结构的参数;(2)batch_size:1次迭代所使用的样本量;(3)epoch:1个epoch表示过了1遍训练集中的所有样本。需要补充的是,在深度学习领域中,常用随机梯度下降算法(Stochastic Gradient Descent, SGD)训练深层结构,它有一个好处就是并不需要遍历全部的样本,当数据量非常大时十分原创 2018-05-10 16:32:19 · 515 阅读 · 0 评论 -
矩阵奇异值分解(SVD)及其应用
原链接:https://www.cnblogs.com/pinard/p/6251584.html转载 2018-04-26 21:22:15 · 186 阅读 · 0 评论 -
神经网络中epoch, iteration, batchsize相关理解和说明
batchsize:中文翻译为批大小(批尺寸)。简单点说,批量大小将决定我们一次训练的样本数目。batch_size将影响到模型的优化程度和速度。为什么需要有 Batch_Size :batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。 Batch_Size的取值:...转载 2018-05-17 22:21:15 · 534 阅读 · 0 评论 -
Inception in CNN
inception转载 2018-05-07 22:35:47 · 161 阅读 · 0 评论