各种神经网络

原创 已于 2025-10-16 14:54:40 修改 · 266 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2025-07-28 12:44:53 首次发布

神经网络

1.卷积神经网络CNN

适用于图像训练

卷积层

提取图像的局部特征（如边缘、纹理、形状等），将局部特征转为一个值

填充

保证输出的维度

步幅

隔几个步长移动一次窗口

卷积核

池化层

降低特征图的空间尺寸（降维），减少计算量，增强模型的鲁棒性

2.循环神经网络RNN

一个时间步输出一个隐藏状态

3.LSTM

为了缓解RNN梯度消失和梯度爆炸的问题

遗忘门

忘记之前多长时间的状态

输入门

控制从当前状态要存入多少新的信息

输出门

控制从记忆单元中读取多少信息作为当前时间步的隐藏状态

4.seq2seq

1.前向传播

编码器：由循环神经网络构成（将信息保存到隐藏状态中），将隐藏状态信息传递给解码器

解码器：也是由神经网络构成，基于编码器传递的向量，逐步生成目标序列

训练阶段，解码器的每次一输入不是使用上一次的预测结果，而是真实的结果

解码器计算损失值

累加每一个真实和预测的结果，计算总损失

2.反向传播

函数调用

5.Transform

1.架构图

编码解码图

原理图

Q 是“提问者”，K 是“索引标签”，V 是“实际内容”。

qkv为权重参数，下图表示第一个词和其它词的上下文信息

注意力机制：包含其它词的位置信息和其它词的上下文信息

、

全面解析 Transformer：改变深度学习格局的神经网络架构
qq_56683019的博客
12-04 1万+
Transformer 是一种基于"注意力机制（Attention Mechanism）"的神经网络架构，主要用于处理序列数据。与传统的循环神经网络（RNN）不同，Transformer 通过并行计算和全局注意力机制，极大提升了模型的效率和性能。Transformer 的设计理念基于简单但高效的注意力机制，其并行化特性和强大的表征能力使其成为现代深度学习的核心模型。从 NLP 到 CV，再到多模态任务，Transformer 正在推动 AI 的新一轮变革。
MindSpore社区活动-深度学习模型之数据变换-Transforms学习与体验记录
Le_zon的博客
02-26 254
在使用Lookup前，需要构造词表，一般可以加载已有的词表，或使用Vocab生成词表。配合map，将三段文本进行分词，可以看到处理后的数据成功分词。此模块用于通用数据增强，其中一部分增强操作是用C++实现的，具有较好的高性能，另一部分是基于Python实现，使用了NumPy模块作为支持。此模块用于图像数据增强，其中有一部分增强是基于C++ OpenCV实现的，具有较好的性能，而另一部分是基于Python Pillow实现的。transforms 是一个高性能文本数据增强模块，支持常见的文本数据增强处理。
小白级别的神经网络入门 （一）transformer
最新发布
ayb2992的博客
08-07 864
Layer Normalization就是对每个xi 自身各维度进行normalization，与批次无关，对每个词进行处理，不存在全局变量，没有极端seq对数据的影响，让计算更加合理。编码器中的每个位置都可以处理编码器前一层中的所有位置。在运算过程中相当于k问q我和你关系怎么样，然后q转身回答k，得到k和q的相似度，经过softmax转化为概率，v得到相应的占比，加权和得到output。而整个的文本信息就相当于是query，value的含义则更抽象，可以比作是你看到这段文本信息后，脑子里浮现的答案信息，
NLP中的Transform理解
m0_52647764的博客
09-15 2271
Transform相关理论 transform模型Transformer模型在2017年被google提出，直接基于Self-Attention结构，取代了之前NLP任务中常用的RNN神经网络结构，并在WMT2014 Englishto-German和WMT2014 English-to-French两个机器翻译任务上都取得了当时的SOTA。 与RNN这类神经网络结构相比，Transformer一个巨大的优点是：模型在处理序列输入时，可以对整个序列输入进行并行计算，不需要按照时间步循环递归处理输入序列。
transform 神经网络(1)
wuguangbin1230的博客
06-21 5896
简单解释 Transform是在神经网络之后又发展的一个比较流行的深度模型，今天就给大家解释一下这个模型的原理。首先先抛出一个问题？神经网络有哪些缺点，或者是LSTM有什么不足之处，以至于让我们又发展了Transform这个深度模型？在这里我自己总结出了几点： 1、 难解释性，神经网络的一个通病，做出来的好坏都比较难解释， 2、 梯度消失和梯度爆炸的问题。 3、 LSTM只能串行计算，不能并行，因为它是一个时序类的模型。 4、 对于翻译这类生成模型计算起来比较复杂，耗时比较长而且效果也不是很好。
Transformer网络
weixin_41169280的博客
12-13 1万+
Transformer网络最初被设计出来是为了自然语言处理、语言翻译任务，这里解释的也主要基于这一任务展开。在 Transformer 出现之前，递归神经网络(RNN)是自然语言处理的首选解决方案。当提供一个单词序列时，递归神经网络(RNN)将处理第一个单词，并将结果反馈到处理下一个单词的层。这使它能够跟踪整个句子，而不是单独处理每个单词。但是这种方法只能顺序的处理单词，同时对于长序列的文本无法有效处理，当两个单词距离过远时会出现梯度消失的问题。
教你看懂各种神经网络
02-25
原图如下：虽然这些节点图不能显示各个模型的内部工作过程，但是这些节点图的汇总可以让我们在同一层面上对比不同神经网络的结构特点，从而对不同神经网络之间的关系有一个更为具象的理解。单层感知器是最简单的神经...
各种神经网络的应用领域,神经网络技术及其应用
shirley67269的博客
08-24 1834
我想这可能是你想要的神经网络吧！什么是神经网络：人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
各种神经网络PPT模版
07-24
包含各种神经网络PPT模版共200多页，可以用作平时汇报和课程作业。
神经网络的具体应用实例,各种神经网络的应用
神器榜
10-10 1706
我想这可能是你想要的神经网络吧！什么是神经网络：一个技术宅的学习笔记。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。神经网络的应用：应用在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人、复杂系统控制等等。纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。
Matlab中各种神经网络算法的使用实例
01-04
自己做实验的时候用到的一个资源，感觉还不错，分享出来，希望对你有所帮助，顺表捞点资源，无用不会发，放心下载。
Transformers是一种图神经网络
强化学习曾小健
12-04 948
我更赞同多头机制的优化视图 —— 拥有多个注意力头改进了学习并克服了错误的随机初始化。例如，这些论文表明Transformer 头可以在训练被“修剪”或删除，而不会对性能产生显著影响。多头邻居聚合机制在GNNs中也被证明是有效的，例如，GAT使用相同的多头注意力和MoNet使用多个高斯核聚合特征。虽然是为了稳定注意力机制而发明的，但是多头机制会成为压榨模型性能的标准操作吗？相反，具有简单聚合函数(如sum或max)的GNN不需要多个聚合头进行稳定的训练。
Pytorch之经典神经网络Transformer(一) —— Transformer()
热门推荐
hxxjxw的博客
07-29 1万+
什么是Transformer 谷歌在2017年发表了一篇论文名字叫《Attention Is All You Need》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。传统的神经机器翻译大都是利用RNN或者CNN来作为encoder-decoder的模型基础，而谷歌最新的只基于Attention的Transformer模型摒弃了固有的定式，并没有用任何CNN或者RNN的结构。该模型可以高度并行地工作，所以在提升翻译性能的同时训练速度也特别快。 ...
【神经网络】Transformer小结
weixin_42780429的博客
03-31 5321
目录Transformer介绍Tansformer具有两个突出的贡献：自注意力机制自注意力机制模块多头注意力机制 Transformer介绍 Tansformer具有两个突出的贡献： 1.自注意力机制，允许网络捕获序列元素之间的“长期”信息和依赖关系； 2.在无监督的大数据集上进行预训练，然后用小样本数据集微调到目标任务。 自注意力机制 自注意力机制估计预测任务中所有实体两两之间的相关性； 自注意力层通过聚合来自完整输入序列的全局信息更新序列的每个组成部分。 自注意力机制模块 自注意力机制是如何将序列中的每
原来Transformer就是一种神经网络，这个概念你清楚吗？
我爱计算机视觉
03-15 1430
前段时间 Transformer已席卷计算机视觉领域，并获得大量好评，如『基于Swin-Transformer』、『美团提出具有「位置编码」的Transformer，性能优于ViT和DeiT』、『Lifting Transformer』、『TimeSformer』等等Transformer为什么这么有实力？因为它在分类、检测等任务上展现了极其强劲的性能。而且骨干网络上的发展也推动了下游任务的发展，...
神经网络中用于图片裁剪，翻转，随机擦除的transform以及matplotlib可视化（代码逐行解释）
Mr_DaYang的博客
09-17 2311
裁剪加翻转 说明 tensor->show：是将生成的tensor（三维度）生成灰度图 image->show：将tensor变成Img形式再生成 通道1->image->show：取tensor的一个维度，变成Img形式再生成 注意 随机裁剪加翻转是在图片格式上进行的，与下面随机擦除不同（在tensor上进行） 这里总结了一个如何将tensor数据plt.show()出来的2种方法 法1：plt.imshow(img_t[0], cmap='gray')#img_t[0]=t
搞懂机器视觉 Transformer 神经网络的原理和代码详解（图文详解）。
石头的博客
03-31 3947
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的** 顺序结构**，使得模型可以并行化训练，而且能够拥有全局信息。
【Transformer系列】深入浅出理解Transformer网络模型（综合篇）
IT菜鸟
09-17 1万+
【Transformer系列】深入浅出理解Transformer网络模型（综合篇）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

skyQAQLinux

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值