FutureWarning:nn.init.orthogonal is now deprecated in favor of nn.init.orthogonal_

于 2024-10-02 21:09:53 发布
阅读量109 收藏
点赞数 7
分类专栏： 开发者札记 Python Python# NLP 文章标签： 深度学习 机器学习 人工智能 python nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kecilimu/article/details/142685232
版权

FutureWarning: nn.init.orthogonal is now deprecated in favor of nn.init.orthogonal_.nn.init.orthogonal(self.lstm.weight_hh_l0)

这是新版torch的警告，也就是正交初始化的方法被重写了，现在使用nn.init.orthogonal_，也就是加个下划线即可。

 

个人博客：https://kecilimu-notion.vercel.app/

个人邮箱：kecilimu@163.com

转载请务必注明出处

刻词梨木
关注
专栏目录
OMP.rar_omp_site:www.pudn.com
09-24
标题 "OMP.rar_omp_site:www.pudn.com" 暗示了这是一个与"OMP"（Orthogonal Matching Pursuit，正交匹配追踪）相关的压缩文件，可能包含了用于图像压缩和重构的代码或资料，发布在pudn.com这个网站上。描述中提到的...
ofdm.rar_site:www.pudn.com
09-20
本文将深入探讨基于Matlab的OFDM（Orthogonal Frequency Division Multiplexing，正交频分复用）调制与解调的仿真实现。OFDM是一种现代通信技术，广泛应用于4G、5G移动通信系统以及Wi-Fi网络中，通过在多个正交子...
ocdma.zip_OCDMA IN MATLAB _OCDMA Orthogonal_Orthogonal code_ocd
07-14
**正 文** 本文将深入探讨OCDMA（正交码分多址）技术及其在MATLAB环境中的实现。OCDMA是一种通信技术，它利用正交编码原理来实现多个用户在同一频段上同时传输数据，而不会相互干扰。这种技术在无线通信、光通信等...
EOF.rar_EOF分解_eof_site:www.pudn.com_气象数据_气象站点数据
09-23
EOF，全称Empirical Orthogonal Functions（经验正交函数），是气象学和地球科学中用于数据分析的一种重要方法。它主要用于处理多维空间中的观测数据，尤其是时间序列数据，如气候和天气模型的输出。在本压缩包“EOF...
深度学习：DCGAN
最新发布
Landy_Jay的博客
10-01 266
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
对比学习训练是如何进行的
qq_45809323的博客
09-25 619
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
深度学习：迁移学习
纸上得来终觉浅
09-27 1219
迁移学习
深度学习常见术语介绍
Tunny_one
09-28 458
深度学习常见术语介绍
深度学习500问——Chapter15：异构计算，GPU和框架选型（1）
不要给自己设限，尝试更多可能（思所向 皆可往）
09-26 1213
异构计算是基于一个更加朴素的概念，“异构现象”，也就是不同计算平台之间，由于硬件结构（包括计算核心和内存），指令集和底层软件实现等方面的不同而有着不同的特性。异构计算就是使用结合了两个或者多个不同的计算平台，并进行协同运算。比如，比较常见的，在深度学习和机器学习中已经比较成熟的架构：CPU和GPU的异构计算；此外还有比较新的Google推出的协处理器（TPU），根据目的而定制的ASIC，可编程的FPGA等也都是现在在异构计算中使用比较多的协处理器。
《深度学习》—— 神经网络中的数据增强
weixin_73504499的博客
09-24 1453
神经网络中的数据增强是一种通过增加训练数据的多样性和数量来提高模型泛化能力的技术。在神经网络训练过程中，尤其是在数据集较小的情况下，模型容易出现过拟合问题，即模型在训练数据上表现良好，但在未见过的数据上表现不佳。数据增强技术通过对原始数据进行一系列变换，生成新的数据样本，从而有效缓解这一问题。
深度学习---------------------------深度循环神经网络
Einstein·Jun
10-01 261
深度循环神经网络使用多个隐藏层来获得更多的非线性性。
基于深度学习的缺失数据的图像修复
weixin_42605076的博客
09-26 881
图像修复的基本目标是根据图像的上下文信息恢复缺失的部分。卷积神经网络（CNN）：CNN通过学习图像的局部特征，能够有效捕捉到图像的空间信息。模型通常在含有缺失区域的图像和相应的完整图像之间进行训练，以学习如何填补这些缺失区域。生成对抗网络（GANs）：GANs通过对抗训练的方式提高生成图像的质量。修复网络和判别网络相互竞争，修复网络努力生成真实的缺失部分，而判别网络则尝试区分修复后的图像和真实图像。这样可以生成更加自然和真实的修复结果。自编码器。
《深度学习》—— ResNet 残差神经网络
weixin_73504499的博客
09-26 1587
ResNet 网络是在 2015年 由微软实验室中的何凯明等几位大神提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。
深度学习基础案例7--马铃薯病识别，对VGG16进行轻量级优化，计算量减少了99%，但是准确率下降4%
weixin_74085818的博客
09-25 991
vgg16是CNN卷积神经网络的经典架构，它拥有13层卷积，3层池化构成，下图是本人第一次画的神经网络🤠🤠🤠🤠。
Python电能质量扰动信号分类(五)基于CNN-Transformer的一维信号分类模型
09-25 1005
本文基于Python仿真的电能质量扰动信号，先经过数据预处理进行数据集的制作和加载，然后通过Pytorch实现CNN-Transformer模型对扰动信号的分类。
57 长短期记忆网络(LSTM)_by《李沐:动手学深度学习v2》pytorch版
buyaotutou的博客
09-28 1115
在[初始化函数]中，长短期记忆网络的隐状态需要返回一个额外的记忆元，单元的值为0，形状为（批量大小，隐藏单元数）。因此，我们得到以下的状态初始化。实际模型]的定义与我们前面讨论的一样：提供三个门和一个额外的记忆元。请注意，只有隐状态才会传递到输出层，而记忆元CtCt​不直接参与输出计算。outputs.append(Y) #Y的shape是（批量大小，词表长度）只有这里输出了批量大小的预测，之后才能用来计算损失。
YOLOv8最新改进2023 CVPR 结合BiFormer
qq_53545309的博客
09-28 336
作为视觉转换器的核心构建块，衰减是捕获长距离依赖性的强大工具。然而，这种能力是有代价的：它会产生巨大的计算负担和沉重的内存占用，因为所有空间位置的成对标记交互都是计算的。一系列作品试图通过将手工制作和与内容无关的稀疏性引入 attention 来缓解这个问题，例如将 attention 操作限制在局部窗口、轴向条纹或扩张的窗口内。与这些方法相反，我们提出了一种通过双层路由的新型 dy namic 稀疏注意力，以实现具有内容感知的更灵活的计算分配。
《深度学习》ResNet残差网络、BN批处理层 结构、原理详解
wx_AHao1004Y的博客
09-25 1346
ResNet（Residual Neural Network）是一种深度卷积神经网络结构，由Kaiming He等人在2015年提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。它通过使用残差块（Residual Block）来克服深度神经网络训练中的梯度消失等问题，使得网络可以更深地进行训练。
《深度学习》自然语言处理 统计、神经语言模型 结构、推导解析
wx_AHao1004Y的博客
09-28 1325
自然语言处理（Natural Language Processing，NLP）是一门研究人类语言与计算机之间交互的领域。它涉及了计算机科学、人工智能和语言学等多个学科，致力于使计算机能够理解、分析、处理和生成人类自然语言。自然语言处理的目标是使计算机能够像人类一样对语言进行理解和处理。这包括了自动文本摘要、机器翻译、情感分析、文本分类、问答系统、语音识别、语义理解等多个任务。
nn.init.orthogonal_参数
03-30
nn.init.orthogonal_参数是一个初始化器函数，用于初始化神经网络中的权重参数。它可以接受两个参数： 1. tensor：需要被初始化的张量。 2. gain：权重的增益因子。 该函数会将张量按照正交矩阵的方式进行初始化，使得每个神经元的输入具有相同的方差，并且在通过非线性激活函数后，输出的方差也相同。这有助于优化算法更快地收敛。 其中，gain参数用于缩放正交矩阵的元素。如果gain为1.0，则保持原始的正交矩阵。如果gain不为1.0，则对正交矩阵进行缩放，以便更好地适应不同的非线性激活函数。 例如，以下代码将使用nn.init.orthogonal_函数初始化一个形状为(3, 5)的张量W，并将gain参数设置为1.0： ``` import torch.nn as nn W = nn.Parameter(torch.Tensor(3, 5)) nn.init.orthogonal_(W, gain=1.0) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值