深度学习入门 学习过程中的技巧——正则化

最新推荐文章于 2024-07-19 22:21:46 发布
最新推荐文章于 2024-07-19 22:21:46 发布
阅读量84 收藏
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56336619/article/details/117251693
版权

正则化
目的：抑制模型过拟合；
手段：权重衰减；Dropout；

神经网络学习的目的：减少损失函数的值

为损失函数加上权重的平方范数——训练过程中减少损失函数的值——减少权重的值
目的：抑制权重过大

L2范数：1/2å(W^2)
å：控制正则化强度的超参数 设置的越大，对权重施加的惩罚越重

对于所有权重，权值衰减的方法：为损失函数加上1/2å(w^2)

在计算权重梯度的时候，（对损失函数求导寻找其下降最快的方向） 【1/2å(w^2)】‘ = åW

即对结果加上了正则化的导数åW

L2范数相当于各个元素的平方和，对于权重W(w1,w2,w3…wn)
L2范数：sqrt(w12+w22+…+wn^2)

L1范数：各个元素的绝对值之和：|w1|+|w2|+…|wn|
L∞范数：Max范数：各个元素中绝对值最大的那个

常用的正则化项是L2范数

权值衰减——抑制过拟合

复杂的模型：Dropout 学习的过程中随机删除神经元

weixin_56336619
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第6章——深度学习入门（鱼书）
weixin_42963026的博客
02-08 1053
与学习相关的技巧。
机器学习——逻辑回归
Ajelu的博客
11-06 1289
逻辑回归测试笔记 1、正则化越弱，模型参数越大，模型越复杂。（对） 2、逻辑回归的损失函数与极大似然估计具有等价性。（对） 3、正则化是通过惩罚模型的参数来实现的，即惩罚大的权重值 4、sklearn中封装的逻辑回归类，通过C/c参数来控制模型的正则化强度 5、原始的逻辑回归算法处理的是二分类问题 （对） 6、用sigmoid函数将逻辑回归的输出值映射到0到1之间。 7、逻辑回归在训练阶段求解模型参数一般采用迭代算法求解。（对） 8、sklearn中的StandardScaler类的作用是对数据进行标准化/
深度学习入门——与学习相关的技巧
最新发布
Toreme的博客
07-19 1123
本章将介绍神经网络的学习中的一些重要观点，主题涉及寻找最优权重参数的最优化方法、权重参数的初始值、超参数的设定方法等此外，为了应对过拟合，本章还将介绍权值衰减、Dropout等正则化方法，并进行实现。最后将对近年来众多研究中使用的Batch Normalization 方法进行简单的介绍。使用本章介绍的方法，可以高效地进行神经网络（深度学习）的学习，提高识别精度。让我们一起往下看吧！
深度学习入门学习笔记之——与学习相关的技巧
前尘忆梦的博客
01-16 481
与学习相关的技巧 本章将介绍神经网络的学习中的一些重要观点，主题涉及寻找最优权重参数的最优化方法、权重参数的初始值、超参数的设定方法等。此外，为了应对过拟合，本章还将介绍权值衰减、Dropout 等正则化方法，并进行实现。 最后将对近年来众多研究中使用的 Batch Normalization 方法进行简单的介绍。 使用本章介绍的方法，可以高效地进行神经网络（深度学习）的学习，提高识别精度。让我们一起往下看吧！ 1、参数的更新 神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，
深度学习入门：基于Python的理论与实现③
qq_61879501的博客
10-21 1330
有关深度学习的学习笔记（包括CNN）
深度学习入门笔记（四）：向量化
种树最好的时间是10年前，其次是现在！！！
09-18 8332
声明 1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。 2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。 3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。 4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添...
【《深度学习入门》—— 学习笔记（二）】
MEREDITH5948的博客
11-05 777
《深度学习入门》 —— 学习笔记（二）
【机器学习】深度探索：从基础概念到深度学习关键技术的全面解析——梯度下降、激活函数、正则化与批量归一化
Allen-
06-05 2472
随着科技的飞速发展，人工智能（AI）已经成为当今世界的热门话题。作为AI的核心技术之一，机器学习（Machine Learning, ML）在各个领域都发挥着举足轻重的作用。特别是在深度学习（Deep Learning, DL）领域中，机器学习提供了重要的理论支撑和实践指导。本文将通俗易懂地介绍机器学习的基本概念、原理和应用场景，并深入解析机器学习在深度学习领域中的重要作用。
深度学习入门知识整理-训练技巧以及模型调优
ForgetThatNight的博客
06-13 6337
目录 网络模型先简单后复杂 确认模型损失 检查中间输出和连接 关于可视化神经网络的主要方法，Faizan Shaikh 举出了三个例子： 超参数的选择 学习率范围侧视图Colab Notebook Nanonets 数据预处理 数据增强 数据不平衡的处理 自己的数据生成器 全程跟踪工作 Linux命令 学会去查找资料和Solution 如果你有了初步的想法打算做某个研...
深度学习入门-基于Python的理论实现.zip
05-09
这个“深度学习入门-基于Python的理论实现”课程可能包含了这些内容的详细讲解，包括但不限于神经网络的基础知识、Python编程基础、数据预处理、模型构建、训练和评估。通过学习，你可以掌握深度学习的基本原理，并...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
火遍日本 IT 界的深度学习入门书，你读完了吗？
GitChat
05-14 8730
关于深度学习，网上的资料很多，你可能会问，这本《深度学习入门：基于 Python 的理论与实践》，还有什么独家看点？我需要多久能搞懂深度学习？在日本 IT 圈，这本书的影响力超越了实力派的“花书”，长期位列日亚“人工智能”类图书榜首，众多五星好评。 这本入门书最大的特点就是教你如何创建深度学习模型。并且，本书不使用任何现有的深度学习框架，尽可能使用大学数学基础知识和 Python 库，从零讲解深...
循环神经网络的隐藏状态——理解注意力机制 Attention 中的Q、K、V （查询Query、键值Key、值项Value）
weixin_56336619的博客
04-20 8535
前言： 依然借用机器翻译任务作为例子来理解这些概念 注意力机制Attention 是 基于Encoder-Decoder框架的 encoder-decoder本质是两个循环神经网络（‘隐藏状态’ 或 ‘记忆细胞’记录当前时间步的信息,并传递到下一时间步）,做的事情就是将输入序列映射到输出序列。也即是机器翻译任务中的seq2seq模型。 encoder-decoder本质是两个循环神经网络（隐藏状态/记忆细胞记录当前时间步的信息） 下面是学习attention机制过程中保存的笔记： 一个注意力模型
三种位置编码Position Embedding
weixin_56336619的博客
06-05 6657
1.为什么要位置编码？ 处理序列问题 对于传统CNN、RNN模型，因其处理机制模型本身已经具备很强的捕捉位置信息的特性，所以position embedding属于锦上添花 使用attention机制取代cnn、rnn的如transformer、bert模型，本身是一个n*n不包含任何位置信息的词袋模型 所以需要和字embedding 相加 [1].基于绝对位置 计数 embedding = 0 , 1, ,2, 3 缺点：序列没有上界 ，与字embedding合并 数值变化过大 干扰模型 解决：使其
Sparse transformer - 之Sparse attention 稀疏注意力
weixin_56336619的博客
06-10 4887
Sparse Transformer: 主要目的是减少传统Transformer 的时间复杂度和空间复杂度。 通过top-k选择，将注意退化为稀疏注意。这样，保留最有助于引起注意的部分，并删除其他无关的信息。这种选择性方法在保存重要信息和消除噪声方面是有效的。注意力可以更多地集中在最有贡献的价值因素上。 论文《Generating Long Sequences with Sparse Transformers》 self-attention是O(n^2)，因为对序列中任意两个位置的均建立起关联； 节省显.
使用biLSTM_CRF完成词性标注任务
weixin_56336619的博客
04-27 944
使用Pytorch框架中定义好的biLSTM_CRF模型和超参数，主要目的是加深学习印象； 过去一段时间对序列标注任务学习的梳理，学习的过程中有不断修正之前的理解里谬误的地方；本文是对tutorial的示范例子的一次依葫芦画瓢，仅作为对之前学习内容的回顾总结和实践，最重要的还是先对知识和模型的学习！ pytorch的官方文档 学习过程做的笔记： 对biLSTM_CRF模型的理解 对pytorch官方文档里biLSTM_CRF模型的源码学习（一）整体理解 （二）预定义方法、模型的初始化工作 （三）前向传播
解读pytorch中的biLSTM_CRF源码（一）
weixin_56336619的博客
04-21 794
biLSTM_CRF的理解可以看之前的这篇博客 pytorch的英文文档 biLSTM_CRF的是训练出一个模型完成序列标注任务——给定任意输入序列和标签集，输出标注序列。 这个模型实现将输入序列映射到输出序列——在nlp的词性标注POS-tagging任务中，是将给定句子（词序列）映射为大小相同的词性标注序列。 这个模型需要 A转移概率分布 隐藏状态之间的转移 [词性][词性] B发射概率分布 从观测状态转移到隐状态的概率 [词性][单词] 显然,biLSTM_CRF模型和hmm模型的区别之一就是，h
词嵌入（二）分布式表示
weixin_56336619的博客
04-30 770
One-hot编码仅仅将词语符号化，丢失语义信息，且维度灾难。 与one-hot编码表示技术相对应的是分布式表示 分布式假说（Distributional Hypothesis):上下文中相似的词其语义也相似 ——词的语义由其上下文决定 基于分布式假说的词表示方法，根据建模方式分为三类——基于矩阵的分布表示、基于聚类的分布表示、基于神经网络的分布表示 1.基于矩阵的分布表示，构建词-上下文矩阵 上下文： 文档：即词-文档矩阵 上下文的每个词：即词-词矩阵 ngrams：即词-n元组矩阵 矩阵中的每个元素为词
30分钟快速入门：精准文本匹配利器——正则表达式
1. **入门**：介绍正则表达式的基本概念，它是编程中用于处理字符串规则的工具。 2. **测试正则表达式**：学习如何实际应用正则表达式来搜索和匹配字符串。 3. **元字符**：正则表达式中的特殊符号，如`.`、`*`、`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值