3、CNN、RNN、LSTM

最新推荐文章于 2024-03-17 19:11:59 发布
最新推荐文章于 2024-03-17 19:11:59 发布
阅读量758 收藏 6
点赞数
分类专栏： nlp 文本分类 自然语言处理 文章标签： 梯度消失 梯度爆炸 cnn rnn lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cuipanguo/article/details/103703763
版权
本文详细介绍了CNN、RNN和LSTM的工作原理及其在处理序列数据时遇到的梯度消失和爆炸问题。CNN利用卷积核整合上下文信息，RNN通过循环结构处理更长上下文，但易出现梯度问题。LSTM通过门控机制解决这一问题，有效地保留和传递信息。同时，文章提到了激活函数的选择和损失函数的影响，以及解决梯度问题的策略。
摘要由CSDN通过智能技术生成

1、CNN：就是把每个字转换成向量，再拼接成图像的样式，再用卷积核处理，再池化和拼接，再softmax得到分类结果，卷积核的作用能够整合一些上下文信息。

ç½ç»ç»æ

2、RNN：前向网络中加入了前一个字的信息，隐含层嘛；能够整合更多的上下文信息，效果更好，但是会出现梯度消失和爆炸。产生的原因是什么呢？在bp过程中（这里就不推导了），当前层参数的导数是后面所有层导数跌成的结果，主要包含激活函数的导数和权值矩阵两个方面；梯度爆炸是因为初始化权重矩阵太大，导致每一层的权重矩阵和激活函数导数的乘积都大于1,；所以初始化权重矩阵不易太大；梯度消失是因为激活函数的导数明显小于1，导致跌成之后远小于1，如sigmoid函数的导数永远小于0.25，tan函数的导数值分布也比较小，不能使用激活函数relu，因为这个还是会导致梯度爆炸。hinton的论文中说了替换成relu会导致很大的输出值，举个例子：

a(i) = Wf(i-1) +Ux(i) +b(i)   激活函数的输入，x(i)是每个阶段的输入，

f(i) = f[a(i)]  激活函数的输出

rnn中每一层的W相同，所以在求当前层的变化时，叠乘由于激活函数导数都是1，那么就是W的n次方，如果把W初始化单位矩阵还ok，如果不是的话，就很容易梯度爆炸。而cnn不同的是各个W是不同的，这样的话就会避免梯度

最低0.47元/天 解锁文章
Jeu
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LSTM应用于MNIST数据集分类(与CNN做对比)
冲出仁川，走出马德里，故事还会再继续
07-02 2113
  LSTM网络是序列模型，一般比较适合处理序列问题。这里把它用于手写数字图片的分类，其实就相当于把图片看作序列。  一张MNIST数据集的图片是28×2828\times 2828×28的大小，我们可以把每一行看作是一个序列输入，那么一张图片就是28行，序列长度为28；每一行有28个数据，每个序列输入28个值。  这里我们可以将LSTM和CNN的代码结果进行对比。 2.1 载入数据集 2.2 创建模型 2.3 定义优化器 2.4 编译模型 2.5 训练模型 2.6 打印模型摘要    L
【深度学习实验】卷积神经网络（一）：卷积运算及其Pytorch实现（一维卷积：窄卷积、宽卷积、等宽卷积；二维卷积）
天地玄黄 魑魅魍魉 风花雪月 商角徵羽 暂时停更 十月重见
09-25 3062
本文主要介绍了卷积运算及其Pytorch实现，包括一维卷积（窄卷积、宽卷积、等宽卷积）、二维卷积。
深度学习（3）之经典神经网络模型整理：神经网络、CNN、RNN、LSTM
yohnyang的博客
04-30 1万+
经典神经网络模型整理：神经网络、CNN、RNN、LSTM CNN模型汇总LeNet5 模型AlexNet 模型VGG模型Inception Net（GoogleNet）模型ResNet （残差网络） RNN模型（循环神经网络）为什么需要RNNRNN结构 LSTM（长短期记忆网络）模型GRU模型计算重置门r~t~和候选状态计算更新门z~t~和当前状态h~t~ 神经网络基础知识 本周主要对于神经网络的相关知识进行了学习，本文先整理神经网络学习中所需的一些基础知识，而..
【深度学习】——神经网络DNN/CNN/RNN/LSTM内部结构区别
汤庆
05-25 4612
一、DNN深度神经网络 先说DNN，从结构上来说他和传统意义上的NN（神经网络）没什么区别，但是神经网络发展时遇到了一些瓶颈问题。一开始的神经元不能表示异或运算，科学家通过增加网络层数，增加隐藏层可以表达。并发现神经网络的层数直接决定了它对现实的表达能力。但是随着层数的增加会出现局部函数越来越容易出现局部最优解的现象，用数据训练深层网络有时候还不如浅层网络，并会出现梯度消失的问题...
神经网络结构——CNN、RNN、LSTM、Transformer ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
03-04 7298
本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。神经网络结构通过卷积和池化操作有效地处理高维图像数据，降低计算复杂度，并提取关键特征进行识别和分类。网络结构用来提取图像的局部特征。用来大幅降低参数量级，实现数据降维。用来输出想要的结果。卷积神经网络（CNN）解决问题卷积操作提取图像特征，如边缘、纹理等，保留图像特征。池化操作大幅降低参数量级，实现数据降维，大大减少运算量，避免过拟合。工作原理。
cnn、rnn和lstm的区别
Ldu_wukong的博客
04-24 7432
我们都知道cnn和lstm的本质区别是有无记忆功能，也就是联想的能力，cnn只能够识别出一部分的特征，而lstm可以根据上下文得出结论。 但是我产生了一个问题，如何才能从他们的流程中找到区别，问什么不在RNN上直接加一个dropout层，或者将cnn改为时间序列。 首先看一下cnn、Rnn和lstm的原理图： 如下 cnn： RNN： lstm： 首先我想谈一下cnn与RNN，为什么不...
BP CNN RNN LSTM 技术分享
03-16
分享 BP CNN RNN LSTM 算法核心点： 反向传播算法的核心就是 梯度下降 + 链式法则求偏导 所谓神经网络的训练或者是学习，其主要目的在于通过学习算法得到神经网络解决指定问题所需的参数， 这里的参数包括各层神经元...
CNN-LSTM Matlab源码，包括原数据
02-10
而LSTM则是一种特殊的RNN（循环神经网络），在处理序列数据时能有效地解决长期依赖问题。当这两种模型结合在一起，可以形成一个强大的框架，用于处理包含序列信息的图像任务，如视频分类、动作识别等。 **CNN部分**...
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： ...1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 ...RNN-＞LSTM-＞BiLSTM神经网络结构 注意力机制----transformer中注意力机制 使用Python和Kera
pytorch实现用CNN和LSTM对文本进行分类方式
01-21
model.py： #!/usr/bin/python # -*- coding: utf-8 -*- import torch from torch import nn ... 文本分类，RNN模型 def __init__(self): super(TextRNN, self).__init__() # 三个待输入的数据 self
一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络（图文解释 包括各种激活函数）
showswoller的博客
12-05 3742
一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络（图文解释 包括各种激活函数）
【全面了解自然语言处理三大特征提取器】RNN（LSTM）、transformer（注意力机制）、CNN
最新发布
weixin_45929355的博客
03-17 3811
自然语言处理（NLP）是人工智能领域中一个重要的分支，它的目的是让计算机能够理解和处理人类语言，而特征提取是让计算机理解和处理人类语言时必不可少的过程，除了数据的因素，（引自下面本文从具体介绍一下这三个主要的特征提取器。
RNN、CNN、RNN、LSTM、CTC算法原理，pytorch实现LSTM算法
weixin_42010722的博客
07-01 2258
1. CNN算法 CNN算法原理 2. RNN算法 最早CNN算法和普通算法类似，都是从由一个输入得到另一个输出，不同的输入之间没有联系，无法实现一些场景（例如：对电影每个时间点的时间类型进行分类，因为时间是连续的，每一个时间点都是由前面的时间点影响的，也就是说输入之间有关联） 2.1 典型的序列数据 文章里文字内容 语音里音频内容 股票市场中价格走势 2.2 基本原理 RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果，带到下一次的隐藏层中，一起训练。如下图所示 在上面的示例图中 神经网
深度学习笔记：CNN+RNN+LSTM
weixin_47113960的博客
05-29 2367
卷积神经网络（Convolutional Neural Network, CNN） 参考博客：https://easyai.tech/ai-definition/cnn/ CNN 是一种前馈神经网络，通常由卷积层（Convolutional Layer），池化层（Pooling Layer）和全连接层（Fully Connected Layer，对应经典的 NN）组成。卷积层负责提取图像中的局部特征；池化层用来大幅降低参数量级(降维)；全连接层类似传统神经网络的部分，用来输出想要的结果。 2大特点： 能够
DNN、CNN、RNN、LSTM的区别，最全最详细解答
热门推荐
Jfightingk的博客
07-22 3万+
** DNN、CNN、RNN、LSTM的区别，最全最详细解答 ** 神经网络的变种目前有， 如误差反向传播（Back Propagation，BP）神经网路、 概率神经网络、 RNN-循环神经网络 DNN-深度神经网络 CNN-卷积神经网络（－适用于图像识别）、 LSTM-时间递归神经网络（－适用于语音识别）等。 但最简单且原汁原味的神经网络则是 多层感知器（Muti－Layer Perception ，MLP）。 MLP神经网络的结构和原理 最典型的MLP包括包括三层：输入层、隐层和输出层，MLP神经网络
CNN,RNN,LSTM区别
u011473714的专栏
07-24 2万+
(一)CNN 卷积神经网络 在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。 [1]  卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。 卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三...
prompt范式
cuipanguo的博客
08-16 2610
1-范式发展历程： P1. 非神经网络时代的完全监督学习 （Fully Supervised Learning, Non-Neural Network）--特征工程 P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)--架构工程 P3. 预训练，精调范式 (Pre-train, Fine-tune)--目标工程 P4. 预训练，提示，预测范式（Pre-train, Prompt, Predict）--prompt挖掘工程 从
预测模型解析：RNN、CNN、LSTM与卡尔曼滤波
"这篇预测模型调研文档探讨了三种常见的预测模型：趋势外推预测方法、回归预测方法和卡尔曼滤波预测模型，涉及RNN、CNN、LSTM等深度学习模型，以及人工智能领域的应用。" 文章详细介绍了这些预测模型的工作原理、优...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值