![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Carrie_Lei
这个作者很懒,什么都没留下…
展开
-
深度学习笔记7-BN
BN 的核心思想是在每一层的输出上应用标准化,使其均值为 0,方差为 1,然后再进行进一步的非线性变换(如激活函数的应用)。Batch Normalization 是深度学习中一个重要的技巧,通过对 mini-batch 数据进行标准化,它能有效提高模型的训练速度和稳定性。:BN 的性能在很大程度上依赖于 mini-batch 的大小,如果 mini-batch 太小,估计的均值和方差可能不稳定,从而影响训练效果。:通过标准化,BN 可以使网络的训练过程更稳定,允许使用更高的学习率,从而加快收敛速度。原创 2024-08-21 20:58:22 · 640 阅读 · 0 评论 -
深度学习笔记10-深度可分离卷积
深度可分离卷积通过将标准卷积分解为深度卷积和逐点卷积,显著减少了计算量和模型参数。虽然在某些情况下可能导致模型的表达能力有所下降,但它在实际应用中,尤其是移动设备和嵌入式系统中,能够显著提升计算效率和降低模型复杂度。与标准卷积相比,深度可分离卷积的计算复杂度显著降低,尤其是在 (C_{\text{out}}) 较大时,这种节省尤为明显。1) 的卷积核进行卷积操作,用于将深度卷积的输出通道线性组合成所需的输出通道。k) 的卷积核进行卷积操作,其中 (k) 是卷积核的大小。原创 2024-08-21 21:06:11 · 777 阅读 · 0 评论 -
深度学习1-超参数
超参数的调整是机器学习模型优化的重要环节。通过系统地实验和评估不同的超参数组合,能够找到最适合当前任务的模型配置。通常使用交叉验证、网格搜索或随机搜索等方法来自动调整和选择超参数,以提高模型的性能和泛化能力。原创 2024-08-20 17:20:20 · 898 阅读 · 0 评论 -
深度学习2-激活函数
激活函数在神经网络中扮演着至关重要的角色,不同的激活函数适用于不同类型的任务。选择合适的激活函数,可以大大提高模型的性能和训练效率。原创 2024-08-21 20:34:58 · 470 阅读 · 0 评论 -
深度学习笔记8-计算梯度
梯度计算是机器学习和深度学习中的核心步骤,通过手动计算、数值方法或自动微分来获得梯度信息。现代深度学习框架利用自动微分技术高效地计算梯度,从而实现了对复杂模型的优化。了解梯度计算的原理和方法对于理解和实现优化算法至关重要。原创 2024-08-21 21:01:19 · 523 阅读 · 0 评论 -
深度学习5-dropout操作
Dropout 的基本思想是:在每次训练迭代中,随机“丢弃”一部分神经元(即将其输出置为零)。具体来说,按照一定的概率 ( p ),随机选择一部分神经元不参与本次迭代的前向传播和反向传播计算。通过这种方式,Dropout 强迫网络的每个神经元在每次迭代中变得更加独立,减少了不同神经元之间的依赖,从而降低过拟合风险。原创 2024-08-21 20:46:59 · 278 阅读 · 0 评论 -
深度学习2-超参数调整
交叉验证、网格搜索和随机搜索是模型超参数调整的重要工具。交叉验证确保模型评估的可靠性,而网格搜索和随机搜索则提供了系统化的方法来发现最优超参数组合。选择合适的方法和策略,可以显著提高模型的性能和泛化能力。原创 2024-08-20 17:28:36 · 777 阅读 · 0 评论 -
深度学习笔记6-感受野
在 CNN 中,感受野描述了网络中某一层的一个神经元(或卷积核)在输入图像上对应的区域。在设计卷积神经网络时,理解并合理设置感受野的大小可以帮助网络更好地提取图像的多尺度特征,从而提高模型的性能和泛化能力。它指的是在网络的特定层中,一个神经元或特征映射单元所能“看到”的输入区域,即影响该神经元输出的输入像素的范围。在网络的深层,感受野较大,神经元可以捕获到更全局的特征。:通过在卷积核中引入空洞(即在卷积核的元素之间插入“空”的位置),可以在不增加参数和计算量的情况下增大感受野。原创 2024-08-21 20:55:13 · 761 阅读 · 0 评论 -
深度学习3-梯度消失
梯度消失问题是深度学习中的一个关键挑战,尤其是在训练深层神经网络时。通过使用合适的激活函数、优化权重初始化方法、应用批归一化以及使用残差网络等技术,能够有效地缓解或解决梯度消失问题,从而提高模型的训练效率和性能。在神经网络的训练过程中,使用反向传播算法来计算每一层的权重梯度,并通过这些梯度来更新权重。然而,当网络的深度增加时,梯度在向前层传播的过程中可能会逐渐减小,最终趋近于零。梯度消失问题主要与激活函数和深层网络结构有关,尤其是在使用特定的激活函数(如Sigmoid或Tanh)时。原创 2024-08-21 20:39:39 · 414 阅读 · 0 评论 -
深度学习笔记9-Sigmoid函数求导
这个结果不仅提供了计算梯度的简洁公式,还具有直观的意义:Sigmoid 函数的导数在输出值接近 0 或 1 时会变得非常小,从而可能导致梯度消失问题,这也是在训练深层网络时需要考虑的一个问题。要计算 Sigmoid 函数的导数,首先需要对其进行微分。Sigmoid 函数的导数可以用来计算反向传播中的梯度。是一种常用的激活函数,特别是在二分类任务中。原创 2024-08-21 21:03:27 · 914 阅读 · 0 评论 -
深度学习4-梯度下降
通过不断更新模型参数,梯度下降能够有效地最小化损失函数,训练出性能优良的模型。改进的梯度下降算法,如动量法、RMSProp 和 Adam,进一步增强了梯度下降的效率和稳定性,使其在现代深度学习中得到了广泛应用。(Gradient Descent)是一种常用的优化算法,用于训练机器学习模型,特别是深度学习中的神经网络。梯度下降算法的核心思想是沿着损失函数的负梯度方向进行参数更新,因为梯度的方向指向函数上升最快的方向,所以沿着负梯度方向移动能够使损失函数的值减小。原创 2024-08-21 20:44:54 · 629 阅读 · 0 评论