【吴恩达深度学习笔记-改善深层神经网络】——第一周深度学习的实用层面（1.4）

最新推荐文章于 2021-08-11 14:40:28 发布
最新推荐文章于 2021-08-11 14:40:28 发布
阅读量247 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 神经网络 深度学习 机器学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laozaoxiaowanzi/article/details/106219736
版权

【吴恩达深度学习笔记-改善深层神经网络】——第一周深度学习的实用层面（1.4）

1.4 正则化
正则化用来解决神经网络过度拟合数据（即高方差）的问题，正则化的作用原理：

1.在逻辑回归中的正则化
在这里插入图片描述

用逻辑回归来实现，求成本函数的最小值，成本函数中的参数包括一些训练数据和不同数据中个体预测的损失,w和b是逻辑回归的两个参数，其中w是一个多维度的参数矢量，b是一个实数，在逻辑回归中添加正则化就是加入一个参数入（正则化参数），w欧几里得范数的平方等于wj（j从1到nx）平方的和，此方法称为L2正则化，同样还有一个L1范数，无论分母是m还是2m，都是一个比例常量。L1正则化会使模型变得稀疏，但不意味着可压缩就能降低存储内存。入正则化参数通常使用验证集（交叉验证）来配置这个参数。

2.在神经网络中实现正则化
在这里插入图片描述
神经网络中的成本函数等于损失总和乘以训练数据m的总和，正则项为入/2m乘以参数矩阵w的总和，w表示一个矩阵中所有元素平方和(Frobenius 范数),L2正则化参数有时被称为权重衰减。

正则化还是懂得还不是很彻底，望大神指点！！！

醪糟小丸子
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
吴恩达deep learning ai 笔记总结(2-3) 改善深层神经网络-超参数调试、Batch正则化和编程框架
keke_Memory的博客
10-26 384
文章目录改善深层神经网络-超参数调试、Batch正则化和编程框架Tuning ProcessUsing an appropriate scale to pick hyperparametersHyperparameters Tuning in PracticeNormalizing activations in a networkFitting Batch Norm into a neural n...
吴恩达 深度学习系列--改善深层神经网络（1、深度学习使用层面）--04
Galen_xia的博客
11-10 498
改善深层网络之深度学习使用层面 1- 训练集、验证集、测试集的数据分配问题(Train/Dev/Test sets)： （1）数据较少时，可以按照7/3划分（没有验证集），或者是6/2/2划分，机器学习领域内普遍认可这种划分。 （2）如果数据很多，达到十万百万级，可以按照98/1/1，或者验证集和测试集更小也是可以的。 2- 偏差与方差(Bias/Variance)： （1）偏差（bias）：偏差...
改善深层神经网络-吴恩达学习笔记
xuanshuang的博客
12-15 166
一、正则化 损失函数 梯度 非正则化部分反向传播的梯度（from backprop）+ 简单来说，添加了正则项后，损失函数计算梯度下降时就要同时满足原损失函数和正则项的权重同时等于0，压缩了解的空间，即对权重w的可能的取值做了限制。权重衰减weight decay，并不是一个规范的定义，而只是俗称而已，可以理解为削减/惩罚权重。在大多数情况下weight dacay 可以等价为L2正则化。L2正则化的作用就在于削减权重，降低模型过拟合，其行为即直接导致每轮迭代过程中的权重weight...
吴恩达改善深层神经网络章节笔记（三）——参数调试和Batch Normalize
Rome was not built in a day.
08-11 316
吴恩达改善深层神经网络——学习笔记（三） 视频课程链接： https://www.bilibili.com/video/BV1FT4y1E74V? 笔记参考链接： https://blog.csdn.net/weixin_36815313/article/details/105728919
《深度学习工程师-吴恩达》02改善深层神经网络--深度学习的实用层面 总结
jliang3的博客
01-05 563
深度学习的实用层面 学习总结 1.重点归纳 1）数据划分 （1）一般情况下我们会把数据分为训练集、验证集和测试集，但有些时候不需要无偏估计时只划分为训练集和测试集。 （2）数据集比较少时，可以按60%，20%，20%的比例划分数据集。 （3）数据集很大时，并不需要大量的数据（验证集）来选择模型，也不需要大量的数据（测试集）来评估模型。如100万的数据集可以按98%，1%，1%来划分...
【深度学习-吴恩达】L1-4 深层神经网络 作业
07-29
在本课程中，"【深度学习-吴恩达】L1-4 深层神经网络 作业"，我们将深入探讨深度学习的基础及其在实际应用中的实现。吴恩达是机器学习领域的知名专家，他在Coursera上的深度学习专项课程深受全球学员喜爱。这部分...
深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络
10-25
【深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络】涵盖了神经网络的基础知识，包括浅层神经网络的构建与反向传播，激活函数的选择，以及深层神经网络的优势。 首先，浅层神经网络的核心是双层神经网络。...
【深层神经网络实战代码】识别猫 吴恩达深度学习笔记
03-23
在本资源中，我们主要关注的是“深层神经网络实战代码”，特别是用于识别猫的应用，这源自吴恩达的深度学习课程。吴恩达是全球知名的机器学习专家，他的深度学习课程深入浅出，深受广大学习者喜爱。在这个压缩包里，...
2021版吴恩达深度学习课程笔记-神经网络
11-16
平板手写，课程见B站（https://www.bilibili.com/video/BV12E411a7Xn?p=1）
吴恩达-深度学习-课后作业-答案与总结
最新发布
05-17
资源名称：人工智能+物理神经网络+利用物理信息神经网络和断层带声学监测预测实验室地震+源码 资源描述：【项目资源】：汇聚了云计算、区块链、网络安全、前端设计、后端架构、UI/UX设计、游戏开发、移动应用开发、...
02.改善深层神经网络课程总结 -- 吴恩达(deeplearning.ai)
简之的通向技术之路
11-19 637
1、深度学习的实用层面 1.1 训练、验证、测试集 对于一个需要解决的问题的样本数据，在建立模型的过程中，我们会将问题的data划分为以下几个部分： 训练集（train set）：用训练集对算法或模型进行训练过程； 验证集（development set）：利用验证集或者又称为简单交叉验证集（hold-out cross validation set）进行交叉验证，选择出最好的模型； ...
吴恩达改善深层神经网络章节笔记（二）——优化算法
Rome was not built in a day.
08-10 326
吴恩达改善深层神经网络——学习笔记（二）1. Mini-batch梯度下降 (Mini-batch Gradient Descent) 视频课程链接： https://www.bilibili.com/video/BV1FT4y1E74V? 笔记参考链接： https://blog.csdn.net/weixin_36815313/article/details/105728919 1. Mini-batch梯度下降 (Mini-batch Gradient Descent) 机器学习的应用是一个高度依赖经
吴恩达改善深层神经网络章节笔记（一）——正则化和梯度相关知识
Rome was not built in a day.
08-09 379
吴恩达改善神经网络——学习笔记（一）1. 训练/开发/测试集 (Train/Dev/Test Sets)2. 偏差/方差 (Bias/Variance)3. 机器学习基础 (Basic “Recipe” for Machine Learning) 视频课程链接： https://www.bilibili.com/video/BV1FT4y1E74V? 笔记参考链接： https://blog.csdn.net/weixin_36815313/article/details/105728919 1. 训练/开
模型评估（训练集、验证集、测试集）
热门推荐
laozaoxiaowanzi的博客
08-15 2万+
机器学习的目标就是得到一个泛化能力好的模型，即模型不但在已给定的数据（训练数据）上性能表现良好，而且在没有见过的数据（测试数据）上也能达到同样的效果。通常在评估模型的时候，我们看到的只有训练集和测试集，但实际上，我们应将数据集划分为三个集合：训练集、验证集、测试集。 训练集自然是用来训练模型的，当一个模型训练好后，我们可以知道该模型在训练集上的表现，但是不知道在其他数据（全新数据）上是什么样的，于是就可以通过验证集来评估模型性能，然后再对模型做进一步的调节（调节本身就是学习的过程），也就是所谓的调参（超参
几个免费的在线目标检测网站
laozaoxiaowanzi的博客
05-13 5955
老师最近布置了一个作业是找一些免费的在线目标检测网站，然后室友同学找了一天没找到，我也没有，哈哈哈。本来觉得这个作业完成不了了。 然后试探性的问了下我研究nlp的高中同学，不愧是学霸，下午问的，晚上就给我找了两个。 1.https://www.studiodiip.com/2019/12/12/studio-diip-presents-computer-vision-demo/ 这个网站可以直接打开用 效果： 2.http://i-learn-machine-learning.science/
适合离散值分类的多分类模型——softmax回归
laozaoxiaowanzi的博客
08-05 3790
适合离散值分类的多分类模型——softmax回归 一、什么是softmax回归？ 简单来说softmax回归是用来做多分类任务的模型，是一个单层神经网络。与线性回归模型针对连续值的预测（预测房屋价格、天气温度变化等）不同，它更适合离散值的训练和预测。由于该模型是为了识别多种类别，故最终的输出不再是单个值（像relu/sigmoid输入一个实数，输出一个实数）或者是二分类情景（只有两种标记0和1）的两个值，而是多个值（向量），但这些值并不是简单的 0~n-1的标记，而是经过运算后的类别概率。 在猫狗分.
BN(Batch Normalization 批量归一化）
laozaoxiaowanzi的博客
07-31 3357
BN(Batch Normalization 批量归一化） BN（批量归一化）算法在DL中出现的频率很高，因为对于提升模型收敛速度来说具有非常好的效果。 本文将通过以下三个点来理解Batch Normalization。 一、什么是BN 我们在训练模型的时候希望训练集训练出来的模型在通过测试集时能够拥有和训练时一样的效果，为此，有这样一个假设，即训练集数据和测试集数据是满足相同分布的，这个叫做IID（独立同分布假设），就是随机变量相互独立互不影响且具有相同的分布形状和相同的分布参数，也就是训练...
一文读懂朴素贝叶斯分类算法
laozaoxiaowanzi的博客
06-16 2079
因为毕业论文是和贝叶斯理论相关的内容，今天恰巧看到一篇朴素贝叶斯分类算法的文章，写的非常通俗易懂，再结合另外一篇CNN的文章，能帮助自己的理解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

醪糟小丸子

小小帮助，不足挂齿

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值