机器学习-tips for DNN

最新推荐文章于 2024-07-25 13:37:16 发布
最新推荐文章于 2024-07-25 13:37:16 发布
阅读量191 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40824666/article/details/88577147
版权
本文介绍了在深度学习中遇到的训练与测试结果不一致问题，探讨了过度拟合和激活函数的选择。针对训练不佳的情况，建议调整激活函数，如从sigmoid、tanh到ReLU及其变种，以应对梯度消失问题。同时，提到了Maxout神经网络和优化算法如RMSProp、动量法以及Adam，这些方法能有效改善神经网络的训练过程。
摘要由CSDN通过智能技术生成

1.
在training之后，如果发现training结果不太好，那么就应该回头看那三步，看修改哪一步
在这里插入图片描述
2.

如果在training结果上比较好，但是在testing上结果不好，那就overfitting了。也要回去修改前三步。

3.
在这里插入图片描述
上图，横轴是training次数。
看到testing error，56层比20层error大，但是这不是overfitting，因为我们看到training error中，56层已经比20层差了。
56层比20 层是可能的，因为不一定总能层数多而得到更好的效果。

所以，不一定是overfitting！！！

4.Dropout
在这里插入图片描述
但是使用这个需要在training上结果还可以，再来用来改善testing。

5.在training上结果不好的tips
（1）改变ac

最低0.47元/天 解锁文章
努力的小硬币
关注
专栏目录
机器学习（九）：深度学习DNN
qq_33378809的博客
04-01 1181
机器学习系列主要为 我在国科大研一期间，在《机器学习方法与应用》课程中所学知识概述，以及课后补充学习的内容。 ---------------------------------------------------------------------------------------------------------------------------------- ...
李宏毅机器学习10—Tips for training DNN1（第二周）
weixin_57178683的博客
04-25 180
DNN的步骤： 第一步：定义函数集 第二步：评估函数的好坏、 第三步：选取最好的函数 当训练结果表现差时，修改上面三步 当训练结果表现好的，再看测试结果的表现，表现好就成功了，表现差就是过拟合。 如果训练结果本身就差，测试结果也差时，并不是过拟合。 一、对于训练数据上的表现比较差时： 1.需要新的激活函数:也就是说训练数据时函数出现了问题 2.梯度消失问题： 前提：神经网络的层数过多 表现：当靠近输入层时，参数对loss函数的微分很小：靠近输出层时，微分很大。在设定相同的学习.
Tips for DNN
qq_42122025的博客
10-03 157
一、原始的网络 读取数据时数据已归一化 import numpy as np import tensorflow as tf from tensorflow import keras from keras.models import Sequential from keras.layers import Dense from keras.optimizers import SGD,Adam ...
【机器学习】深度神经网络（DNN）：原理、应用与代码实践
richard_yuu的博客
04-24 1万+
深度神经网络作为人工智能领域的重要分支，以其强大的特征学习能力和非线性处理能力，为各种复杂问题的解决提供了有力工具。通过本文的介绍和代码实践，我们深入了解了DNN的基本原理、优缺点以及实际应用。随着技术的不断发展，DNN将在更多领域展现出其巨大的潜力，为我们的生活带来更多便利和创新。
【机器学习】神经网络DNN的正则化
brucewong0516的博客
12-19 1803
和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，之前在【Keras】MLP多层感知机一文中提到了过拟合、欠拟合等处理方法的问题，正则化是常用的手段之一，这里我们就对DNN的正则化方法做一个总结。
李宏毅机器学习11—Tips for training DNN2
weixin_57178683的博客
04-25 135
接上篇，当训练模型表现差时，还可以改变学习率。 之前讲过的adagrad算法 w2在竖直方向上，因为梯度比较大，比较陡峭，所以就选用比较小的学习率 w1在横方向上，因为梯度比较小，比较平缓，所以就选用比较大的学习率。 但是实际情况比这复杂很多， 当遇到上图这种情况时，同一个方向，不同地方的梯度变化也是不一样的，也需要学习率快速变化。这个时候就需要RmsProp。 RmsProp算法 用学习率η除以σ，σ0就是第一次gradient的值g0。第二次，算出一个新的gradien g.
【机器学习网络】神经网络与深度学习-6 深度神经网络（deep neural Networks DNN）
qq1021091799qq的博客
07-26 1699
深度神经网络（deep neural Networks DNN）
大模型深度神经网络（Deep Neural Network, DNN）
最新发布
2402_84466582的博客
07-25 2274
在DNN的训练中，常用的优化算法包括梯度下降（Gradient Descent）及其变种（如批量梯度下降、随机梯度下降、小批量梯度下降）和更先进的优化算法（如Adam、RMSProp、Adagrad等）。大模型深度神经网络（Deep Neural Network, DNN）是一种复杂的机器学习模型，其特点在于包含多个隐藏层，从而赋予模型强大的非线性表达能力和对复杂数据模式的学习能力。DNN需要大量的参数来捕捉数据中的复杂关系，这可能导致模型在训练数据上表现良好，但在新数据上表现较差的过拟合现象。
学习笔记三：深度学习DNN
m0_64375823的博客
11-23 1818
文章目录一、BP神经网络1.1 为何要引出BP神经网络1.2 BP神经网络基本原理1.3 神经网络的多分类1.4 二分类使用softmax还是sigmoid好？1.6度量学习二、神经网络调优2.1 激活函数得选型 一、BP神经网络 1.1 为何要引出BP神经网络 逻辑回归对于如今越来越复杂的任务效果越来越差，主要是难以处理线性不可分的数据，LR处理线性不可分，一般是特征变换和特征组合，将低维空间线性不可分的数据在高维空间中线性可分 改良方式有几种，本质上都是对原始输入特征做文章。但都是针对特定场景设计。如
DNN使用教程详细说明！
01-16
DNN网站管理员，主机管理员，其他的一些使用！有截图和具体的说明！
机器学习与语音识别：从DNN到RNN
AI天才研究院
12-29 963
1.背景介绍 语音识别是一种自然语言处理技术，它旨在将人类的语音信号转换为文本。在过去的几年里，语音识别技术取得了显著的进展，这主要归功于深度学习技术的迅猛发展。深度学习是一种通过多层神经网络学习表示和特征的机器学习技术，它已经成为语音识别任务的主要方法。在本文中，我们将讨论深度神经网络(DNN)和递归神经网络(RNN)在语音识别任务中的应用。我们将介绍它们的核心概念、算法原理和具体实现，并讨论...
深度神经网络DNN（二）——激活函数
热门推荐
weixin_45768638的博客
09-16 2万+
文章目录上节回顾激活函数概念sigmoid 函数ReLU函数多维数组的运算 上节回顾 上一节学习了感知机，对于感知机来说，即便对于复杂的函数，感知机也隐含着能够表示它的可能性。可以将计算机进行的复杂处理表示出来。但设定权重的工作，即确定合适的、能符合预期的输入与输出的权重，现在还是由人工进行的，上一节结合与门、或门的真值表人工决定了合适的权重。 上图中的感知机接收x1和x2两个输入信号，输出y。如果用数学式来表示图3-2 中的感知机，则如下式所示： y={0 （w1x1+w2x2≤θ）1&nbs
DNN训练技巧（Tips for Training DNN）
weixin_30682127的博客
12-26 745
本博客是针对李宏毅教授在Youtube上上传的课程视频《ML Lecture 9-1：Tips for Training DNN》的学习笔记。 课程链接 Recipe of Deep Learning 训练集上效果差 换激活函数New activation function 自适应学习率Adaptive Learning Rate 训练集上效果好的基础...
基于BP神经网络的DNN和python实现
机器学习笔记
04-29 1万+
神经网络可以用来处理回归和分类的问题，典型的神经网络算法即为BP(Back Propagation)算法，我们这里对BP神经网络的构建进行详细讲解，基于BP算法延伸出多层神经网络，并对一些问题提出解决方法。 BP神经网络的原理 1. 单个神经元的构成 如上图所示为一个典型的神经元结构，输入端为n个输入xnxnx_{n}，对应n个权重wnwnw_{n},以及一个阈值b，将这些值进行线性...
【机器学习】DNN（三层多元分类模型）—— python3 实现方案
zhenghaitian的博客
11-10 3551
根据西瓜书《神经网络》章节反向传播的推导过程写成。 书上推导了单样本的反向传播，本例实现了批量梯度下降，设置batch_size=1，就是单样本随机梯度下降。 有别于其他分类算法的标签集，神经网络要对标签进行独热编码，在制作测试数据时要注意这点。 本例使用sklearn生成的3000个3类别的训练数据，多次调试后，能达到90%的正确率。 import numpy as np from s...
PyTorch 入门：训练一个深度神经网络(DNN)
宁萌Julie的博客
05-26 4652
pytorch入门笔记，训练深度神经网络(DNN)常用代码总结
机器学习 -- ＞深度学习-- ＞卷积神经网络(CNN)
村头陶员外的博客
05-13 9345
上一篇我们详细讲解了人工神经网络以及DNN的原理。CNN主要应用在图像处理方面。这一讲我们将详细讲解卷积神经网络CNN的原理以及在深度学习框架pytorch上的实现。在讲CNN之前我们需要了解这么几个问题？ ①人工神经网络能用到计算机视觉上吗？ 答：能 ②那么为什么还需要卷积神经网络？ 答：上一讲我们讲到人工神经网络中，每一层都是全连接，就是相邻的层之间，神经元必须两两之间彼此连接，而图像数
机器学习：深度神经网络
Dreaming5498的博客
08-19 2011
文章目录基本概念神经网络的介绍神经元深度神经网络(大于两层就可以称为深度神经网络)感知器与神经网络感知器神经网络用符号标识神经网络一个神经元的数学表示一层神经元的数学表示神经网络计算流程激活函数为什么需要非线性激活函数常见激活函数激活函数的导数sigmoidtanhReLu和Leaky ReLu如何训练神经网络反向传播的理解计算图计算图的导数神经网络的梯度下降神经网络的传播过程神经网络的传播过程的...
传统机器学习DNN算法实现恶意网站自动检测
资源摘要信息:本项目是一个关于使用传统机器学习算法结合深度神经网络（DNN）进行恶意网站检测的研究。项目包含了用于实现检测功能的Python源代码和相应的数据集文件，以及详细的项目说明文档。整个项目的核心在于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值