![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习原理
文章平均质量分 75
薛定谔的炼丹炉!
这个作者很懒,什么都没留下…
展开
-
MobileNet v1 v2 v3系列简介
原文链接:https://www.cnblogs.com/dengshunge/p/11334640.html最近一段时间,重新研读了谷歌的mobilenet系列,对该系列有新的认识。1.MobileNet V1这篇论文是谷歌在2017年提出了,专注于移动端或者嵌入式设备中的轻量级CNN网络。该论文最大的创新点是,提出了深度可分离卷积(depthwise separable convolution)。首先,我们分析一下传统卷积的运算过程,请参考第一个动图或者这篇博客。可以看出,传统卷积分成两步,每转载 2021-12-15 10:01:01 · 274 阅读 · 0 评论 -
深入浅出--梯度下降法及其实现
原文链接:https://www.jianshu.com/p/c7e642877b0e梯度下降的场景假设梯度梯度下降算法的数学解释梯度下降算法的实例梯度下降算法的实现Further reading本文将从一个下山的场景开始,先提出梯度下降算法的基本思想,进而从数学上解释梯度下降算法的原理,最后实现一个简单的梯度下降算法的实例!梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景:一个人被困在山上,需要从山上下来(i.e. 找到山的最低点,也就是山谷)。转载 2020-10-26 21:04:24 · 140 阅读 · 0 评论 -
经验风险最小化和结构风险最小化
原文链接:https://blog.csdn.net/zhang_shuai12/article/details/53064697 在假设空间、损失函数以及训练集确定的情况下,经验风险函数就可以确定。假设给定一个数据集: 模型f(x)关于训练数据集的平均损失成转载 2020-10-26 20:45:03 · 484 阅读 · 0 评论 -
网络模型压缩方法
一、网络剪枝:将网络中小于某个设定的阈值(较小)的权重置0,就像二值网络一般;然后将被设置为0的权重屏蔽更新,继续进行训练;以此循环,每隔训练几轮过后,继续进行修剪。二、增加正则化权重:例如增加L1正则化程度,则会出现更多值为0的权重,L2正则化也一样,增大L2正则化程度,则更多的值很小的权重,则会有更多小于阈值的权重被剪枝。三、简化网络结构:使用轻量级网络结构,如使用了深度可分离卷积的mobilenet网络等,或者尝试使用浅层网络结构,使用bottleneck先缩小通道再扩增通道。四、存储网络原创 2020-08-30 22:20:07 · 1149 阅读 · 0 评论 -
BN层的作用
原文链接:https://zhuanlan.zhihu.com/p/75603087BN层的作用主要有三个:加快网络的训练和收敛的速度控制梯度爆炸防止梯度消失防止过拟合分析:(1)加快收敛速度:在深度神经网络中中,如果每层的数据分布都不一样的话,将会导致网络非常难收敛和训练,而如果把 每层的数据都在转换在均值为零,方差为1 的状态下,这样每层数据的分布都是一样的训练会比较容易收敛。(2)防止梯度爆炸和梯度消失:以sigmoid函数为例,sigmoid函数使得输出在[0,1]之间,实际上当x道了一定的大小,转载 2020-08-29 19:45:43 · 1767 阅读 · 0 评论 -
(简洁)深度学习中的五种归一化(BN、LN、IN、GN和SN)
原文链接:https://blog.csdn.net/u013289254/article/details/99690730 一. 本文的内容包括: 1. Batch Normalization,其论文:https://arxiv.org/pdf/1502.03167.pdf &nbs转载 2020-08-26 09:09:37 · 831 阅读 · 0 评论 -
SE Block(Sequeze and Excitation)
原文链接:https://blog.csdn.net/bl128ve900/article/details/93778729 看senet block的代码,明白如何实现def Squeeze_excitation_layer(self, input_x, out_dim, ratio,转载 2020-08-24 21:34:24 · 1043 阅读 · 0 评论 -
深度学习之特征融合(高低层特征融合)
原文链接:https://blog.csdn.net/xys430381_1/article/details/88370733?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-4.edu_weight&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-4.edu转载 2020-08-24 16:25:53 · 47206 阅读 · 3 评论 -
(太长太全面了)CNN超详细介绍
原文链接:https://blog.csdn.net/jiaoyangwm/article/details/80011656 文章目录1、卷积神经网络的概念2、转载 2020-08-10 16:00:58 · 20940 阅读 · 1 评论 -
CNN经典模型 要点
原文链接:https://blog.csdn.net/jiaoyangwm/article/details/82555461 文章目录一、对比二、AlexNet三转载 2020-08-10 15:19:58 · 520 阅读 · 0 评论 -
代价函数、损失函数、目标函数区别
一:损失函数,代价函数,目标函数定义首先给出结论:损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差。代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。目标函数(Object Function)定义为:最终需要优化的函数。等于经验风险+结构风险(也就是Cost Function + 正则化项)。关于目标函数和代价函数的区别还有一种通俗的区别:目标函数是最大化或者最小化,而代价函数是最小化...原创 2020-08-07 10:25:47 · 296 阅读 · 0 评论 -
批量batch,随机stochastic,小批量mini-batch对比
批量梯度下降法(Batch Gradient Descent)在每次更新参数时都会将全部数据集计算一遍。 优点:全局最优解,能保证每一次更新权值,都能降低损失函数;易于并行实现。 缺点:当样本数目很多时,训练过程会很慢,计算量开销大,不支持在线学习。随机梯度下降法(Stochastic Gradient Descent)每计算一个样本就更新一次参数。如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经将参数迭代到最优解了,对比上面的批量梯度下降,迭代一次需要用到.原创 2020-07-26 18:21:00 · 461 阅读 · 0 评论 -
Tensorflow & Keras的loss函数总结
原文链接:https://www.jianshu.com/p/b33b563a854b一、二分类与多分类交叉熵损失函数的理解交叉熵是分类任务中的常用损失函数,在不同的分类任务情况下,交叉熵形式上有很大的差别,二分类任务交叉熵损失函数:多分类任务交叉熵损失函数:这两个交叉熵损失函数对应神经网络不同的最后一层输出,二分类对应 sigmoid,多分类对应 s...转载 2020-04-30 23:05:42 · 1255 阅读 · 0 评论 -
一文详解Softmax函数
原文链接:https://zhuanlan.zhihu.com/p/105722023前言提到二分类首先想到的可能就是逻辑回归算法。逻辑回归算法是在各个领域中应用比较广泛的机器学习算法。逻辑回归算法本身并不难,最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间,其中Sigmoid函数刚好具有这样的功能。sigmoid激活函数例如使用逻辑回归算法预测患者是否有恶性肿...转载 2020-04-30 18:25:37 · 2920 阅读 · 0 评论 -
Softmax 原理及 Sigmoid和Softmax用于分类的区别
原文链接:https://www.cnblogs.com/jins-note/p/12528412.html 1、什么是 softmax机器学习总归是要接触到 softmax 的,那么这个东东倒底是怎么来的呢?实际上 softmax 可能指两种相似但不相同的东东。1.1. softmax function这函数定义比较符合 softmax 这个名字:可见 softmax function...转载 2020-04-19 22:14:36 · 1043 阅读 · 0 评论 -
深度特征融合---理解add和concat之多层特征融合
原文链接:https://blog.csdn.net/xys430381_1/article/details/88355956 ...转载 2020-03-21 23:26:32 · 3832 阅读 · 4 评论 -
梯度消失和梯度爆炸问题详解
1.为什么使用梯度下降来优化神经网络参数?反向传播(用于优化神网参数):根据损失函数计算的误差通过反向传播的方式,指导深度网络参数的更新优化。采取反向传播的原因:首先,深层网络由许多线性层和非线性层堆叠而来,每一层非线性层都可以视为是一个非线性函数(非线性来自于非线性激活函数),因此整个深度网络可以视为是一个复合的非线性多元函数。我们最终的目的是希望这个非线性函数很好的完成输入到输出之间的映...转载 2020-03-18 21:16:54 · 224 阅读 · 0 评论 -
深度可分离卷积
原文:https://blog.csdn.net/makefish/article/details/88716534下面这个文章介绍了深度可分离卷积是怎么做的:https://toward...转载 2020-03-17 11:46:44 · 264 阅读 · 1 评论 -
TensorFlow实现卷积、反卷积和空洞卷积
TensorFlow实现卷积、反卷积和空洞卷积 原创 ...转载 2020-03-11 12:17:31 · 528 阅读 · 0 评论 -
CNN中的卷积和反卷积
彻底搞懂CNN中的卷积和反卷积 原创 ...转载 2020-03-11 11:33:00 · 301 阅读 · 0 评论 -
感受野
深度学习: 感受野 (receptive field) 2018-09-272018-09-27 15:37:40阅读 8360Introduction ==感受野:卷积神经网络每一层输出的特征图 (feature map) 上的像素点在原始图像上映射的区域大小。== Size多层叠加 的 小卷积核 相比于 大卷积核 的:优势: 可取得与大卷积核同等规模的感受野;加深了网络深度 —> 增...转载 2020-03-11 10:35:05 · 242 阅读 · 0 评论 -
逻辑回归(LR实则分类)的损失函数
原文链接:https://blog.csdn.net/CTTACM/article/details/91472794 逻辑回归是在线性函数的基础上,经过激活函数后转载 2020-06-10 21:38:28 · 474 阅读 · 0 评论 -
4.深度学习入门笔记:向量化
原文链接:https://blog.csdn.net/TeFuirnever/article/details/100835706 欢迎关注WX公众号:【程序员管小转载 2020-05-17 18:13:43 · 193 阅读 · 0 评论 -
3.深度学习入门笔记:求导和计算图
原文链接:https://blog.csdn.net/TeFuirnever/article/details/100900465 欢迎关注WX公众号:【程序员管小转载 2020-05-17 17:46:39 · 243 阅读 · 0 评论 -
2.深度学习入门笔记:神经网络基础
原文链接:https://blog.csdn.net/TeFuirnever/article/details/100835595 欢迎关注WX公众号:【程序员管小转载 2020-05-17 17:32:46 · 178 阅读 · 0 评论 -
1.深度学习入门笔记:深度学习引言
原文链接:https://blog.csdn.net/TeFuirnever/article/details/100669859 欢迎关注WX公众号:【程序员管小转载 2020-05-17 17:18:58 · 273 阅读 · 0 评论 -
【记录】一个深度学习算法工程师的成长之路( 思考和方法以及计划 )
原文链接:https://blog.csdn.net/TeFuirnever/article/details/100999282转载 2020-05-17 17:16:09 · 759 阅读 · 1 评论 -
L1和L2正则化原理详解(图重要)
原文链接:https://blog.csdn.net/yimingsilence/article/details/82027474 正则化是指在优化目标函数或代价函数是,在目标函数后面加上一个正则项。正则项通常有L1正则项和L2正则项。1. L1正则 L1正则是基于L1范数和项,即参数的转载 2020-05-17 16:44:06 · 3303 阅读 · 0 评论