深度学习
文章平均质量分 89
藓类少女
这个作者很懒,什么都没留下…
展开
-
【模型】Temporal Fusion Transformer (TFT) 模型
Temporal Fusion Transformer (TFT) 模型是一种专为时间序列预测设计的高级深度学习模型。它结合了神经网络的多种机制来处理时间序列数据中的复杂关系。TFT 由 Lim et al. 于 2019 年提出,旨在处理时间序列中的不确定性和多尺度的依赖关系。TFT 模型的架构结合了以下几个主要组件:输入层和嵌入层:Variable Selection Network(变量选择网络):LSTM编码器/解码器:自注意力机制(Self-Attention Mechanism):Gated R原创 2024-08-26 18:04:21 · 734 阅读 · 0 评论 -
【模型】TFLiteModel
TensorFlow Lite 提供了一种将 TensorFlow 模型部署到移动设备、嵌入式设备和物联网设备的轻量级解决方案。通过模型转换、优化和部署,TFLite 模型能够在资源受限的环境中高效运行,并支持各种硬件加速选项,如 GPU、DSP 和 Edge TPU。这使得 TFLite 成为在边缘计算设备上运行机器学习模型的理想选择。原创 2024-08-13 18:03:26 · 850 阅读 · 0 评论 -
【对抗性训练】FGM、AWP
FGM 是一种快速生成对抗样本的方法,通过对输入样本施加小的扰动,使得模型在原始样本上的预测信心大幅下降,从而产生对抗样本。FGM 的目标是找到一个微小的扰动,使得模型对样本的预测结果发生改变。FGM 是 FGSM(Fast Gradient Sign Method)的简化版本,它的原理相同,但省去了符号函数的应用。AWP 是一种通过扰动模型参数来提升模型鲁棒性的方法。与 FGM 不同,AWP 并不直接在输入样本上施加扰动,而是在模型参数空间中引入扰动。原创 2024-08-13 17:40:53 · 1041 阅读 · 0 评论 -
【模型】ResNet
ResNet(Residual Network,残差网络)是一种用于图像识别等任务的深度神经网络架构,由何凯明等人于2015年提出。它在计算机视觉领域中具有重要意义,因为它解决了随着网络层数加深而导致的“梯度消失”或“梯度爆炸”问题,使得训练非常深的神经网络成为可能。ResNet 在多个图像识别任务中取得了显著的性能提升,并在 ImageNet 竞赛中获得了第一名。原创 2024-08-13 16:56:01 · 968 阅读 · 0 评论 -
【模型】DenseNet
DenseNet(密集连接卷积网络)是一个深度卷积神经网络,它通过在网络中的各层之间建立密集连接来改进梯度传播、特征复用和网络参数的高效利用。DenseNet 模型的关键特征包括:密集连接:特征复用:紧凑网络:过渡层:生长率(Growth Rate):DenseNet 的优点:DenseNet 的缺点:总的来说,DenseNet 提供了一种通过密集连接和特征复用来构建高效、紧凑且性能优越的深度卷积神经网络的方法。构造 DenseNet 模型涉及以下几个关键步骤:定义 Dense Block、定义 Trans原创 2024-08-01 19:10:24 · 962 阅读 · 0 评论 -
【模型】timm库
是一个用于深度学习的开源库,全称是 “PyTorch Image Models”。该库由 Ross Wightman 创建并维护,旨在提供高效且易于使用的图像模型,包括大量预训练的模型和实用工具。(PyTorch Image Models)库包含了众多预训练的图像分类模型,这些模型在各种流行的数据集上进行了训练。这些预训练模型已经在ImageNet等大型数据集上进行了训练,因此在迁移学习任务中通常表现良好。选择适合你任务的模型架构,可以加快训练过程,并提高模型的性能。可以通过以下代码查看。原创 2024-08-01 18:43:29 · 557 阅读 · 0 评论 -
【数据集处理】Polars库、Parquet 文件
Parquet 文件格式在数据存储和处理方面有很多优势,特别是在大数据环境中。Polars 库在数据处理和分析方面具有显著的优势,特别是在性能和效率上。原创 2024-07-25 19:30:37 · 1063 阅读 · 0 评论 -
【算法】退火算法 Simulated Annealing
退火算法(Simulated Annealing, SA)是一种基于热力学模拟的优化算法,用于求解全局优化问题。它通过模拟物理退火过程来寻找全局最优解。原创 2024-07-25 18:22:10 · 1691 阅读 · 1 评论 -
【深度学习】CycleGAN
CycleGAN(Cycle-Consistent Generative Adversarial Network)是一种生成对抗网络(GAN)架构,用于图像到图像的翻译任务,无需成对的训练样本。CycleGAN 可以在两个域之间进行图像转换,例如将马转换为斑马,将白天的风景转换为夜晚的风景等。原创 2024-07-15 15:56:33 · 482 阅读 · 0 评论 -
[深度学习] 前馈神经网络
每个神经元与前一层的所有神经元连接。原创 2024-06-28 18:43:11 · 1272 阅读 · 1 评论 -
[深度学习] Transformer
Transformer是一种深度学习模型,最早由Vaswani等人在2017年的论文中提出。它最初用于自然语言处理(NLP)任务,但其架构的灵活性使其在许多其他领域也表现出色,如计算机视觉、时间序列分析等。以下是对Transformer模型的详细介绍。原创 2024-06-26 18:11:14 · 1768 阅读 · 0 评论 -
[深度学习] 图神经网络GNN
图神经网络(Graph Neural Network, GNN)是一类用于处理图结构数据的深度学习模型。图是一种重要的数据结构,广泛应用于社交网络、分子化学、推荐系统、交通网络等领域。GNN的出现使得能够有效地在图结构数据上进行学习和推理。原创 2024-06-26 17:20:40 · 566 阅读 · 0 评论 -
[深度学习] 变分自编码器VAE
变分自编码器(Variational Autoencoders, VAEs)是一种生成模型,它结合了概率图模型和深度学习,通过学习数据的潜在表示来生成新的数据样本。VAEs在数据生成、异常检测、数据压缩等领域具有广泛应用。以下是对变分自编码器的详细介绍。原创 2024-06-26 12:34:34 · 853 阅读 · 0 评论 -
[深度学习] 生成对抗网络GAN
生成对抗网络(Generative Adversarial Networks,GANs)是一种由 Ian Goodfellow 等人在2014年提出的深度学习模型。GANs的基本思想是通过两个神经网络(生成器和判别器)的对抗过程,生成与真实数据分布相似的新数据。以下是对GANs的详细介绍。原创 2024-06-26 12:01:45 · 1476 阅读 · 0 评论 -
[深度学习] 自编码器Autoencoder
自编码器(Autoencoder)是一种无监督学习算法,主要用于数据的降维、特征提取和数据重建。自编码器由两个主要部分组成:编码器(Encoder)和解码器(Decoder)。其基本思想是将输入数据映射到一个低维的潜在空间,然后再从该潜在空间重建出原始数据。原创 2024-06-26 11:08:00 · 1467 阅读 · 0 评论 -
[深度学习] 门控循环单元GRU
门控循环单元(Gated Recurrent Unit, GRU)是一种用于处理序列数据的递归神经网络(Recurrent Neural Network, RNN)变体,它通过引入门控机制来解决传统RNN在处理长序列时的梯度消失问题。GRU与长短期记忆网络(LSTM)相似,但结构更为简化。以下是GRU的详细介绍:GRU由以下几个主要部分组成:具体来说,GRU的计算过程如下:假设xt是当前时间步的输入,ht−1是上一时间步的隐状态,则GRU的更新过程可以用以下公式表示:GRU广泛应用于自然语言处理(NLP)原创 2024-06-26 10:26:40 · 1115 阅读 · 0 评论 -
[深度学习]长短期记忆网络LSTM
这些问题的出现主要是由于RNN的结构特性:在每个时间步,输入和隐藏状态之间的权重是共享的,而反向传播的链式乘积效应使得梯度难以有效地传播或控制。这就促使了LSTM(长短期记忆网络)的引入,它通过门控机制(例如遗忘门、输入门等)有效地解决了这些梯度问题,允许网络更好地捕捉和利用长期依赖关系。这些应用场景展示了LSTM在处理序列数据方面的强大能力,无论是在自然语言处理、时间序列预测、语音处理还是其他领域,LSTM都能有效地捕捉和利用长时间跨度的相关信息,提供准确和高效的解决方案。原创 2024-06-25 17:30:31 · 950 阅读 · 0 评论 -
[深度学习]循环神经网络RNN
RNN(Recurrent Neural Network,即循环神经网络)是一类用于处理序列数据的神经网络,广泛应用于自然语言处理(NLP)、时间序列预测、语音识别等领域。与传统的前馈神经网络不同,RNN具有循环结构,能够通过“记忆”前一时刻的信息来处理序列数据。原创 2024-06-25 11:57:57 · 834 阅读 · 0 评论 -
[深度学习] 卷积神经网络CNN
卷积神经网络(Convolutional Neural Network, CNN)是一种专门用于处理数据具有类似网格结构的神经网络,最常用于图像数据处理。原创 2024-06-25 11:24:24 · 1264 阅读 · 0 评论