Deep Learning（wu--84）调参、正则化、优化--改进深度神经网络

已于 2023-12-05 09:50:35 修改
阅读量435 收藏
点赞数 1
分类专栏： Deep Learning 文章标签： 深度学习 人工智能
于 2023-11-29 10:58:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qihshe/article/details/134637490
版权
本文介绍了深度学习中的关键概念，如梯度消失/爆炸问题、权重初始化方法、优化算法（如Mini-Batch梯度下降、RMSprop和Adam）、批量归一化(BN)以及softmax在多分类中的应用。此外，还讨论了如何通过正则化和学习率衰减解决过拟合和局部最优问题。
摘要由CSDN通过智能技术生成

文章目录


2

偏差和方差

唔，这部分在机器学习里讲的更好点

训练集误差大（欠拟合）—高偏差，验证集误差大—高方差（前提 ：训练集和验证集来自相同分布）

正则化





dropout随机失活，消除一些节点的影响，但为了不影响整体得 / keep-prob，补偿归零带来的损失，确保a3期望值不变
dropout仅在训练过程中进行
为了保证神经元输出激活值的期望值与不使用dropout时一致
我们结合概率论的知识来具体看一下：假设一个神经元的输出激活值为a，在不使用dropout的情况下，其输出期望值为a，如果使用了dropout，神经元就可能有保留和关闭两种状态，把它看作一个离散型随机变量，它就符合概率论中的0-1分布，其输出激活值的期望变为 p*a+(1-p)*0=pa，此时若要保持期望和不使用dropout时一致，就要除以 p



梯度消失\爆炸

权重初始化

导数计算


双边差分误差要小于单边

梯度检验

通过双边差分检验dθ是否准确

Optimization

Mini-Batch 梯度下降法



指数加权平均



偏差修正

可以在早期获得更好的估测

RMSprop

Adam


学习率衰减


局部最优问题

通常来说不会困在极差的局部最优中，当你训练较大的神经网络，存在大量参数。cost function J会被定义在较高的空间（容易出现鞍点，即右图中的saddle point）

调参







BN



BN不用加b（bias），因为归一化的过程中（均值）会将b给抵消
ex：x - μ —> (x+b) - (μ+b)
BN能起码保证均值为0方差为1，减弱了前层参数和后层参数作用之间的联系
可以避免前面层的参数变化导致激活函数变化过大，进而导致后面层不好学习的情况


BN一次只能处理一个mini-batch数据
BN还有轻微的正则化功能：正则化通过增加噪声防止过拟合，norm通过调整input的分布来降低训练集改变对后面层的影响，但会带来噪音，所以也有轻微正则化作用

softmax


首先用softmax将logits转换成一个概率分布，然后取概率值最大的作为样本的分类 。softmax的主要作用其实是在计算交叉熵上，将logits转换成一个概率分布后再来计算，然后取概率分布中最大的作为最终的分类结果，这就是将softmax激活函数应用于多分类中
一个输出结果（概率最大）




framework


怎么全是重名
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2020-12-06
shaohuazuo的专栏
12-10 1623
主要说明Navigation DeepLink的源代码，看如下过程的现实 1:DeepLink 三个参数详解 2:DeepLink 参数解析过程 3:Navgation导航目标生成过程 4:Navgation如何现实导航到指定目标的
Deep Learning -- Normalization
Zachary_Co的博客
12-29 842
原文站点：https://senitco.github.io/2017/09/12/deep-learning-normalization/  Normalization可理解为归一化、标准化或者规范化，广泛应用于诸多领域。整体来讲，Normalization扮演着对数据分布重新调整的角色。在图像处理领域，不同形式的归一化可以改变图像的灰度、对比度信息；在机器学习和神经网络中，Normalizati
A Survey of Deep Learning-based Object Detection论文翻译 + 阅读笔记
weixin_43749999的博客
01-11 2170
A Survey of Deep Learning-based Object Detection论文翻译 +阅读笔记 //2022.1.7 日下午16：00开始阅读 双阶段检测器示意图 单阶段检测器示意图 下面是原文中的一些网络组件及结构相关图 上图为：RoIAlign操作。第一步计算特征图中对象的浮点数坐标。下一步利用双线性插值来计算分离箱中四个定期采样位置的特征的精确值。 上图为：四种方法利用特征对不同大小的目标进行预测。(a)使用图像金字塔构建特征...
Deep Learning－深入理解Batch Normalization批标准化
ZerinHwang
03-17 289
原文：https://www.cnblogs.com/guoyaohua/p/8724433.html Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch...
【机器学习笔记】可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning)
VentusDeus的博客
12-13 821
可解释机器学习-笔记和代码
Deep Learning-Based Video Coding: A Review and A Case Study
weixin_30325487的博客
06-13 2042
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 1、Abstract: 　　本文主要介绍的是2015年以来关于深度图像/视频编码的代表性工作，主要可以分为两类：深度编码方案以及基于传统编码方案的深度工具。对于深度编码方案，像素概率建模和自动编码器是两种方法，分别可以看作是预测编码方案和变换编码方案。对于深度工具，有几种使用深度学习来执行帧内预测、帧间预测、跨通道预测、概率分...
论文翻译：Ensemble Deep Learning for Skeleton-based Action Recognition using Temporal Sliding LSTM networ
com_fang_bean的博客
07-22 917
研究了骨骼关节的特征表示和动作识别的时间动力学建模问题。传统方法一般使用依赖于某些节点的相对坐标系，只对长期依赖进行建模，而不考虑短期和中期依赖。我们不以原始骨架作为输入，而是将骨架转换为另一个坐标系，以获得对尺度、旋转和平移的鲁棒性，然后从中提取显著运动特征考虑到不同时间步长的长短期记忆(LSTM)网络能够很好地建模各种属性，我们提出了一种新的基于骨架的动作识别集成时域滑动LSTM (TS-LSTM)网络。该网络由短期、中期和长期TS-LSTM网络组成。在我们的网络中，我们利用多个部分之间的平均集合作为最
TensorFlow实战笔记之（5）：卷积神经网络 实现CIFAR-10数据集分类
polyhedronx的博客
07-27 9137
一、CIFAR-10数据集 1.简介 CIFAR-10是一个经典的数据集，包含60000张RGB 32x32像素的图像，其中训练集50000张，测试集10000张。CIFAR-10即标注为10类，每一类图片6000张，如下图。 数据集下载地址：https://www.cs.toronto.edu/~kriz/...
基于金字塔代价体积的立体匹配网络SSPCV-Net的效果分析
whu.edu.cn，songwang@cec.sc.eduju@math.sc.edu摘要通过使用卷积神经网络的深度学习，立体匹配的准确性得到了极大的提高。为了进一步捕捉视差图的细节，本文提出了一种新的语义立体网络SSPCV-Net，它包括新设计的...
【Python机器学习】循环神经网络（RNN）——审察模型内部情况
最新发布
weixin_39407597的博客
09-10 534
Keras附带了一些工具，比如model.summary()，用于审察模型内部情况。随着模型变得越来越复杂，我们需要经常使用model.summary()，否则在调整超参数时跟踪模型内部的内容的变化情况会变得非常费力。
【大模型专栏—入门篇】机器学习与深度学习基础测试
文艺倾年的博客
09-10 1480
在前向传播过程中，模型各个层的参数w和层的输入输出都是fp16，但是fp16的精度不够，无法表示特别小的数值，这会导致在进行梯度更新的时候，梯度值下溢，导致被调整参数没有变化。因此，合理选择缩放因子和监测训练过程中梯度的变化是非常重要的。，当GPU显存不够充足的情况下，较大的Batch size会导致OOM，因此，需要针对实际的硬件情况，设置合理的Batch size取值。对于所有wi都是一样的，xi是i-1层的激活函数的输出，如果像sigmoid一样，输出值只有正值，那么对于第i层的所有wi，其。
深度学习：怎么看pth文件的参数
weixin_59815450的博客
09-07 383
你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
loveting99的博客
09-07 850
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
09-04 981
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
构建并训练卷积神经网络（CNN）对CIFAR-10数据集进行分类
异构算力老群群（在读985计算机博士生）的技术博客
09-06 1410
接下来，我们定义一个简单的卷积神经网络。该网络包含三个卷积层，两个池化层，以及两个全连接层。self.fc1 = nn.Linear(64 * 8 * 8, 64) # 考虑到池化层后的尺寸return x。
深度学习速通系列:如何生成句向量？
Ven%的博客
09-07 393
生成句向量时，通常需要考虑句子的语义信息和上下文信息。预训练模型如BERT和其变体因其强大的上下文捕捉能力而广泛用于生成高质量的句向量。在实际应用中，可能需要根据具体任务和资源限制选择合适的方法。生成句向量（Sentence Embedding）是自然语言处理（NLP）中的一项重要技术，它将文本句子转换为固定长度的数值向量，这些向量能够捕捉句子的语义信息。
基于BiLSTM-CRF的医学命名实体识别研究（下）模型构建
s44359487yad的博客
09-05 1501
写到这里，这篇文章就介绍结束了，希望对您有所帮助。文章虽然很冗余，但还是能学到知识，尤其是数据预处理和BiLSTM构建知识，后续随着作者深入，会分享更简洁的命名实体识别代码，继续加油~
torch.nn 与 torch.nn.functional的区别？
weixin_56054625的博客
09-07 922
可以在其基础上定义出自己想要的功能参考博文：【pytorch】torch.nn 与 torch.nn.functional 的区别_torch.nn和torch.nn.function的区别-CSDN博客文章浏览阅读554次。今天在看pytorch的代码时，看到了torch.nn 和 torch.nn.functional，然后查了两个模块的官方doc，也没有看明白有啥区别，然后就查了一下资料，这里记录一下，方便以后查阅。_torch.nn和torch.nn.function的区别。
Q-learning算法驱动的建筑能耗预测与深度置信网优化
"该文提出了一种基于Q-Learning算法的建筑能耗预测方法，通过将建筑能耗预测问题转化为马尔科夫决策过程，并利用深度置信网对建筑能耗进行状态建模，实现了对建筑能耗的实时预测。实验在美国巴尔的摩燃气和电力公司...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值