深度学习->基础理论
关注
分享
扫一扫
文章平均质量分 90
本专栏以深度学习理论为主，以条理和清晰为特色，目的在于逐步打造一个完整的深度学习理论体系。
AI 菌
算法工程师一枚，CSDN博客专家；图像、语音、nlp算法跨界选手，欢迎一起交流学习！
展开
-
深度学习笔记（十）：SGD、Momentum、RMSprop、Adam优化算法解析
深度学习优化算法总结！原创 2021-07-28 14:58:44 · 4650 阅读 · 0 评论 -
深度学习笔记（九）：正则化问题总结
一文打通正则化问题！原创 2021-07-26 09:20:17 · 3281 阅读 · 4 评论 -
深度学习笔记（八）：批量归一化问题总结
BN层的11个重要问题总结！原创 2021-07-23 00:31:57 · 5623 阅读 · 10 评论 -
深度学习笔记（七）：Batch size问题总结
batch size 理解！原创 2021-07-20 23:36:22 · 3262 阅读 · 1 评论 -
深度学习笔记（六）：激活函数常见问题总结
激活函数深入理解！原创 2021-07-20 10:26:57 · 3774 阅读 · 3 评论 -
深度学习笔记（五）：欠拟合、过拟合
前言这里先介绍一个名词，模型容量：通俗的讲，模型的容量或表达能力，是指模型拟合复杂函数的能力。当模型的容量越大时，函数的假设空间就越大，就越有可能找到一个函数更逼近真实分布的函数模型。注：在卷积神经网络中，模型容量通常由网络层数、待优化参数的量来衡量。欠拟合、过拟合（1）当模型的容量过大时，网络模型除了学习到训练集数据的模态之外，还把额外的观测误差也学习进来，导致学习的模型在训练集上面表现...原创 2020-03-13 22:21:33 · 3753 阅读 · 20 评论 -
深度学习笔记（四）：梯度下降法与局部最优解
在深度学习过程中，避免不了使用梯度下降算法。但是对于“非凸问题”，训练得到的结果往往可能陷入局部极小值，而非全局最优解。那么这里就以Himmelblau 函数为例位例，探究待优化参数的初始值对梯度下降方向的影响，从而得到不同的局部极小值。首先介绍一下Himmelblau 函数：下图 为 Himmelblau 函数的等高线，大致可以看出，它共有 4 个局部极小值点，并且局部极小值都是 0，所...原创 2020-03-09 22:50:52 · 11270 阅读 · 4 评论 -
深度学习笔记（三）：BatchNorm（BN）层
文章目录一、背景二、提出三、原理四、计算五、Scale and Shift六、BN层实现一、背景卷积神经网络的出现，网络参数量大大减低，使得几十层的深层网络成为可能。然而，在残差网络出现之前，网络的加深使得网络训练变得非常不稳定，甚至出现网络长时间不更新或者不收敛的情形，同时网络对超参数比较敏感，超参数的微量扰动也会导致网络的训练轨迹完全改变。二、提出2015 年，Google 研究人员S...原创 2020-03-22 16:57:40 · 23701 阅读 · 22 评论 -
深度学习笔记（二）：激活函数的前世今生
目录一、激活函数的前世今生二、不得不知的激活函数1. Sigmoid2. Tanh3. ReLU4. Leaky ReLU5. Softmax一、激活函数的前世今生早在1958 年，美国心理学家 Frank Rosenblatt 就提出了第一个可以自动学习权重的神经元模型，称为感知机。它的模型如下：从图中可以看出，他使用的是一个简单的一层网络，其中激活函数是阶跃函数（这也是最早使用的激活函...原创 2020-03-08 14:36:55 · 15399 阅读 · 19 评论 -
深度学习笔记（一）：卷积层+池化层+激活函数+全连接层
本博客会持续更新，后面会加入各个部分的代码实现。前沿在图像分类以及目标定位等任务中，卷积神经网络已经得到了充分地运用。而对于常见的卷积神经网络，我们经常可以看到卷积层、池化层、激活函数、全连接层的身影。直到现在，卷积层+池化层+激活函数+全连接层的结构仍然很实用，似乎已经成为搭建卷积神经网络的基本结构。下面我将从这四个方面分别介绍。注：通常，池化层和激活函数又归类于卷积层。这里为了讲解方便，...原创 2020-03-22 15:09:13 · 46556 阅读 · 53 评论 -
防止过拟合（一）：正则化
前言通过设计不同层数、大小的网络模型，可以为优化算法提供初始的函数假设空间（或者所示网络容量）。但是随着网络参数的优化更新，模型的实际容量是可以随之变化的。以多项式函数模型为例：y=r0+r1x+r2x2+r3x3…+rnxn+errory=r_0+r_1x+r_2x^2+r_3x^3…+r_nx^n+errory=r0+r1x+r2x2+r3x3…+rnxn+error上述模型...原创 2020-03-14 01:04:04 · 5230 阅读 · 3 评论 -
防止过拟合（二）：Dropout
Dropout在 2012 年，Hinton 等人在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中使用了 Dropout 方法来提高模型性能。Dropout通过随机断开神经网络之间的连接，减少每次训练时实际参与计算的模型的参数量，从而减少了模型的实际容量，来防止过拟合。但是需要注...原创 2020-03-14 12:47:36 · 5532 阅读 · 11 评论 -
防止过拟合（三）：数据增强（增加训练样本）
数据增强（Date Augmentation）增加数据集大小是解决过拟合最重要的途径。但是收集样本数据和标注往往是代价昂贵的，在有限的数据集上，通过数据增强技术可以增加训练的样本数量，获得一定程度上的性能提升。**数据增强(Data Augmentation)**是指在维持样本标签不变的条件下，根据先验知识改变样本的特征，使得新产生的样本也符合或者近似符合数据的真实分布。常见的数据增强方式：...原创 2020-03-14 15:19:47 · 13303 阅读 · 8 评论 -
从LeNet-5到GoogLeNet，聊聊深度学习的前世今生！
从入门到放弃，从小白到大佬，CVer都是这么过来的！原创 2020-10-24 19:47:08 · 9933 阅读 · 14 评论 -
目标检测网络中的定位损失函数对比：IOU、GIOU、CIOU、DIOU、L1、L2、Smooth L1
内涵资源获取链接原创 2021-05-20 11:33:42 · 6407 阅读 · 11 评论