![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
weixin_43167121
这个作者很懒,什么都没留下…
展开
-
通俗理解激活函数作用和常见激活函数总结:sigmoid、tanh、relu、Leaky-relu、P-relu、R-Relu、elu
激活函数的作用可以想象,如果没有激活函数,下一层的输入总是上一层的输出,无论多少层网络,都是线性函数,线性函数的逼近能力是非常有限的,无法拟合现实中这些没有规律的非线性复杂函数。举个例子:个人理解为把有规律线性函数用激活函数扭曲,层数越深扭曲次数越多,经过深层网络的扭曲之后,鬼知道是个什么函数,剩下的交给反向传播自己训练去把。各种激活函数1.Sigmoid激活函数:2.tan...原创 2019-03-01 13:35:13 · 7338 阅读 · 1 评论 -
pooling层如何反向传播? 很简单
见链接,就不写了https://blog.csdn.net/Jason_yyz/article/details/80003271转载 2019-08-13 11:26:08 · 578 阅读 · 0 评论 -
inceptionv 1-4
总结的很好我就不总结了,甩链接https://blog.csdn.net/liukai2918/article/details/80378163转载 2019-08-13 11:02:38 · 107 阅读 · 0 评论 -
LeNet,AlexNet,Inceptionv1,2,3,4,vgg,resnet,DenseNet,网络图解对比
1.LeNet2.AlexNet特点:1.加入relu2.加入dropout3.用最大池化替代之前网络用的平均池化,避免模糊3.VGG16反复堆叠33的小型卷积核和22的最大池化层,4.Inception网络 -googlenet对上图做以下说明:1 . 采用不同大小的卷积核意味着不同大小的感受野,最后拼接意味着不同尺度特征的融合;2 . 之所以卷积核大小采用11...原创 2019-08-15 10:53:55 · 558 阅读 · 0 评论 -
提升精度或者训练损失不继续下降办法汇总,(进一步提升效果)
1.找出总被分错的图片,如果真的是太难分辨,考虑删掉。或者用adaboost方法训练多个弱分类器2.考虑多模型融合,最简单方法可以是不同时刻的训练结果融合,不过可能差距不大,好处是节省时间3.降低学习率,如果是已经是衰减学习率了,可以考虑换种衰减方式4.检查数据集有没有错误的样本,严重影响5.首层网络可视化,看特征图区分度是否可以6.改网络模型,改其他参数等等 待补充其他...原创 2019-07-09 15:28:24 · 3065 阅读 · 0 评论 -
momentum、Adagrad、RMSProp、Adam梯度下降总结
MomentumSGD方法中的高方差振荡使得网络很难稳定收敛,所以有研究者提出了一种称为动量(Momentum)的技术,通过优化相关方向的训练和弱化无关方向的振荡,来加速SGD训练。换句话说,这种新方法将上个步骤中更新向量的分量’γ’添加到当前更新向量。V(t)=γV(t−1)+η∇(θ).J(θ)通过θ=θ−V(t)来更新参数。动量项γ通常设定为0.9,或相近的某个值。这里的动量与经...转载 2019-03-10 15:31:29 · 965 阅读 · 0 评论 -
批量梯度下降(BGD)、小批量梯度下降(mini-BGD)、随机梯度下降(SGD)优缺点比较
1. 批量梯度下降(Batch Gradient Descent,BGD)优点:1)一次迭代是对所有样本进行计算,此时利用矩阵进行操作,实现了并行。2)由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。当目标函数为凸函数时,BGD一定能够得到全局最优。缺点:1)当样本数目 m 很大时,每迭代一步都需要对所有样本计算,训练过程会很慢。(有些样本被重复计算,浪费资源...原创 2019-03-06 16:28:32 · 4865 阅读 · 0 评论 -
神经网络权重初始化
深度学习中的weight initialization对模型收敛速度和模型质量有重要影响!在ReLU 中推荐使用Xavier Initialization的变种,暂且称之为He Initialization:使用Batch Normalization Layer可以有效降低深度网络对weight初始化的依赖:初始化为0的可行性?答案是不可行。 为什么将所有W初始化为0是错误的呢?是因为...翻译 2019-03-05 12:18:51 · 324 阅读 · 0 评论 -
衡量神经网络的三个指标,参数量,multi-add,flop计算力
1.深度学习框架FLOPs的概念FLOPS:注意全大写floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。FLOPsFloating point operations 浮点运算数量,就是计算量主要由卷积组成,BN,relu pool占比较少Image大小为 5x5卷积核大小为 3x3那么一...原创 2019-09-04 16:42:06 · 5167 阅读 · 1 评论