DNN CNN RNN

最新推荐文章于 2024-09-11 06:00:00 发布
最新推荐文章于 2024-09-11 06:00:00 发布
阅读量350 收藏
点赞数
分类专栏： ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39086276/article/details/104874710
版权

1. DNN:

在训练集上性能不行：

1.梯度消失问题：有些activation function会导致这个问题,例如：后面提出了Rectified Linear Unit：ReLU,形状为_/；learnable activation function：Maxout

2.可能调整学习率来达到更好，例如Adam

在验证集上性能不行：

1.early stopping：不用等到在训练集上loss最小，可能会出现过拟合

2.regularization：找到新的loss function==原来loss function + 正则项（L1,L2等）

即是找到一组参数（通常只考虑weight，不考虑bias）不仅能够最小化原来loss function，同时也能接近零

例如使用L2,L1 regularization时，梯度推到如下

L2是乘上一个decay权重--》导致所有wweight都会很均匀，而L1是直接剪去一个值--〉可能有些weight很大，有些很小

3.dropout：

训练的时候：在更新参数之前，每个neuron都会有P%的几率被dropout，从而使用新的网络进行训练

测试的时候：不做dropout，如果在训练时dropout rate是p%，则所有weights乘上(1-p)%

2.CNN

3.RNN

隐藏层的输出是存储的，然后作为下一次输入。

RNN的各种形式：

最常见的形式：Long Short-term Memory-LSTM

基于RNN的网络不总是很容易去学习，因为 the error surface is either very flat or very steep.导致梯度变化太大或者太小

但是LSTM能够处理梯度消失问题：1.memory和input是相加的，2.影响会一直存在，除非gorget gate是关闭的，即是forget gate打开就不会产生梯度消失问题

Gated Recurrent Unit(GRU):simpler than LSTM,大致是把forget和input gate联系起来，有input的时候就刷掉memory

4.Explainable ML

4.1local Explanation:Explain the Decision

basic idea：找出那个成分是做出决策时候具有重要性

 4.2global explanation:explain the whole model

basic idea:解释整个model到底产生了什么

 

 

 

 

 

 

 

新角度着想
关注
专栏目录
CNN,DNN,RNN,GAN,RL+图像处理常规算法(未完待续)
qq_43594926的博客
12-04 2171
好的，让我们先介绍一些常见的神经网络模型，然后再讨论图像处理的常规算法。
记录DNN CNN RNN的知识点
jfhgj的博客
08-07 532
深度学习网络初级知识点
浅谈CNN与RNN
蓦然回首
12-14 1万+
CNN: 1）卷积：对图像元素的矩阵变换，是提取图像特征的方法，多种卷积核可以提取多种特征。一个卷积核覆盖的原始图像的范围叫做感受野（权值共享）。一次卷积运算(哪怕是多个卷积核)提取的特征往往是局部的，难以提取出比较全局的特征，因此需要在一层卷积基础上继续做卷积计算，这也就是多层卷积。 2）池化：降维的方法，按照卷积计算得出的特征向量维度大的惊人，不但会带来非常大的计算量，而且容易出现过拟合，解决过
【深度学习】神经网络-怎么分清DNN、CNN、RNN？
最新发布
木亦汐丫
09-11 1457
最“大”的概念是人工神经网络（Artificial Neural Network, ANN），它是较为广泛的术语，通常指的是一类模拟生物神经网络的数学模型，其中包括神经元、权重和连接。在这个术语下，可以包括深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）等不同类型的网络。
CNN、RNN、DNN
weixin_30260399的博客
09-15 1994
一：神经网络 　　技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被Hition、Rumelhart等人发明的多层感知机克服，就是具有多层隐藏层的感知机。 多层...
RNN和CNN(循环神经网络和卷积神经网络)
许佳佳的博客
12-01 1万+
概要 本文科普性质偏多，主要讲一下神经网络中一些常见的概念，如果是完全不懂的小白也可以阅读。 本文参考： 一个例子理解NN(神经网络) 模型 现在想要计算一个人的智商，目前影响智商的因素有身高、体重、家庭背景三个，三者的影响权重也不同，最终能通过三者和权重计算出一个人的智商。这些所有的因素结合到一起就可以称为是神经网络，如下图： 由此可以引申出神经网络的三个概念： 输入层（Input lay...
DNN、RNN、CNN
qq_28609735的博客
08-31 3101
1、DNN(深度神经网络) 神经网络是基于感知机的扩展，而DNN可以理解为有很多隐藏层的神经网络。多层神经网络和深度神经网络DNN其实也是指的一个东西，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）。 DNN存在的局限： 参数数量膨胀。由于DNN采用的是全连接的形式，结构中的连接带来了数量级的权值参数，这不仅容易导致过拟合，也容易造成陷入局部最优。 局部最优。随...
CNN、DNN、RNN学习总结.pdf
03-18
本学习总结将详细介绍卷积神经网络(CNN)、深度神经网络(DNN)和循环神经网络(RNN)，以及它们在深度学习领域的应用。 卷积神经网络(CNN)是一种专门处理具有类似网格结构的数据（例如图像）的神经网络。CNN通过卷积层...
DNN CNN RNN
09-02
DNN、CNN和RNN都是神经网络的变种形式。 DNN，即深度神经网络，是一种具有多个隐藏层的神经网络结构。它可以用来处理复杂的非线性关系，并且在很多领域都取得了很好的效果。DNN在计算机视觉、自然语言处理等领域有...
DNN、CNN、RNN、LSTM的区别，最全最详细解答
Jfightingk的博客
07-22 3万+
** DNN、CNN、RNN、LSTM的区别，最全最详细解答 ** 神经网络的变种目前有， 如误差反向传播（Back Propagation，BP）神经网路、 概率神经网络、 RNN-循环神经网络 DNN-深度神经网络 CNN-卷积神经网络（－适用于图像识别）、 LSTM-时间递归神经网络（－适用于语音识别）等。 但最简单且原汁原味的神经网络则是 多层感知器（Muti－Layer Perception ，MLP）。 MLP神经网络的结构和原理 最典型的MLP包括包括三层：输入层、隐层和输出层，MLP神经网络
RNN_RNN_CNN_
10-01
使用Python编写，无框架实现CNN，RNN等深度神经网络
cnn,rnn,dnn
weixin_30645617的博客
01-02 468
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？ https://www.zhihu.com/question/34681168 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？以及他们的主要用途是什么？只知道CNN是局部感受和参数共享，比较适合用于图像这方面。刚入门的小...
CNN DNN RNN
newbei5862的博客
05-26 233
CNN 卷积神经网络（Convolutional Neural Networks,CNN） DNN 深度神经网络(Deep Neural Networks, 以下简称DNN) RNN 循环神经网络，Recurrent Neural Network
神经网络：CNN、DNN、RNN
weixin_43248507的博客
03-07 6116
神经网络的发展深度神经网络常用的三种算法CNN：卷积神经网络局部连接权值共享卷积层池化层DNN：深度神经网络RNN：循环/递归神经网络 神经网络的发展 第一代神经网络又称为感知器，在1950年代被提出，其算法仅有两层：输入层和输出层。感知器中主要为线性结构，无法解决线性不可分的问题，连异或操作这种简单函数都无能为力。 在1980年左右Rumelhart、Williams等人提出了第二代神经网络，多层感知器MLP(multilayer perceptron)。和第一代神经网络相比，第二代在输入层之间.
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
热门推荐
Eddy_zheng的博客
02-29 10万+
1、相关知识从广义上来说，NN（或是更美的DNN）确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为，它们并没有可比性，或是根本没必要放在一起比较。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括convolution layer 或是 LSTM 单元。其实，如果我们顺着神经网络技术发展的脉络，就很容易弄清这几种网络结构发明的初衷，和他们之间本质的区别。2、神经网
DNN、CNN、RNN
einshan913的博客
05-27 514
特点：只理解局部（单词）的含义，不理解语序。
cnn rnn dnn的简单解释
newlittlewhite的博客
02-27 1511
cnn卷积神经网络的原理 一个典型的卷积神经网络为： 输入 -> 卷积 -> RelU -> 池化 -> RelU -> 卷积 -> … -> 池化 -> 全连接层 -> 输出 对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。在通过池化来降低卷积层输出的特征向量，同时改善结果（不易
神经网络发展历程：DNN、CNN、RNN
weixin_47748259的博客
04-02 3268
具体做法是，在局部连接中隐藏层的每一个神经元连接的是一个10 × 10的局部图像，因此有10 × 10个权值参数，将这10 × 10个权值参数共享给剩下的神经元，也就是说隐藏层中10^6个神经元的权值参数相同，那么此时不管隐藏层神经元的数目是多少，需要训练的参数就是这 10 × 10个权值参数（也就是卷积核(也称滤波器)的大小），如下图。而在RNN中，神经元的输出可以在下一个时间段直接作用到自身，即第i层神经元在m时刻的输入，除了(i-1)层神经元在该时刻的输出外，还包括其自身在(m-1)时刻的输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值