pytorch系列 ---9的番外， Xavier和kaiming是如何fan_in和fan_out的，_calculate_fan_in_and_fan_out解读 Conv2d

最新推荐文章于 2025-05-24 18:01:17 发布
最新推荐文章于 2025-05-24 18:01:17 发布
阅读量5.5k 收藏 24
点赞数 5
CC 4.0 BY-SA版权
分类专栏： pytorch 记录 python3 pytorch0.4系列教程 文章标签： pytorch weight_initialization
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dss_dssssd/article/details/83992701
本文详细介绍了如何在PyTorch中计算线性层（Linear）和卷积层（Conv2d）的fan_in和fan_out。通过代码示例，解释了当权重张量维度为2时，对应线性层的fan_in等于输入通道数，fan_out等于输出通道数；而在卷积层中，fan_in和fan_out涉及卷积核大小，并通过计算权重张量特定维度的元素数量来确定。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文主要借助代码讲解Xavier和kaiming是如何借助_calculate_fan_in_and_fan_out函数来计算当前网络层的fan_in（输入神经元个数）和fan_out（输出神经元个数的），先针对Linear和Conv2d两种。

在这里插入图片描述

m_c = nn.Conv2d(16, 33, 3, stride=2)
m_l = nn.Linear(1, 10)
m_c.weight.size()
m_l.weight.size()

out:

torch.Size([33, 16, 3, 3])
torch.Size([10, 1])

注意看Linear weight的维度为2，而Conv2d的维度为4.
首先判断tensor的维度，如果是二维，则是Linear，

if dimensions == 2:  # Linear
        fan_in = tensor.size(1)
        fan_out = tensor.size(0)

此时：fan_in=in_channelsfan\_in = in\_channels fan_in=in_channels
fan_out=out_channelsfan\_out = out\_channels fan_out=out

最低0.47元/天 解锁文章

200万优质内容无限畅学
python写出 _calculate_fan_in_and_fan_out函数
weixin_42589700的博客
02-17 264
_calculate_fan_in_and_fan_out函数用于计算神经网络中每个神经元的输入和输出连接数，它可以使用Python代码来实现：def _calculate_fan_in_and_fan_out(layers): fan_in = [] fan_out = [] for layer in layers: if hasattr(layer, ...
Pytorch学习笔记——fan_in和fan_out
码农1479的博客
04-05 6213
在进行网络参数初始化时，要传入fan_in和fan_out，本文主要讨论它们的含义，以及如何计算。
缺失的部分 - 轻松入门 fastai 和 PyTorch - 第一部分
最新发布
Morpheon的博客
05-24 1278
本文介绍了如何在Mac M1/M2芯片上搭建fastai深度学习开发环境。作者推荐使用miniforge3创建conda环境并安装支持MPS后端的PyTorch，从而在Apple Silicon上实现GPU加速。文章详细演示了环境配置步骤，包括安装验证和使用MNIST手写数字数据集训练简单分类模型的完整流程。虽然MPS仍存在一些功能限制，但这种本地配置为学习fastai提供了便利。作者也建议对大型模型训练使用Google Colab的GPU资源。
from torch.nn.init import _calculate_fan_in_and_fan_out生成相同的paddle代码
weixin_35753291的博客
02-17 279
从torch.nn.init中导入_calculate_fan_in_and_fan_out来生成相同的Paddle代码：Paddle代码：fan_in, fan_out = paddle.nn.init._calculate_fan_in_and_fan_out(shape)
Pytorch Kaiming 初始化（Initialization）中fan_in和fan_out的区别
frighting_ing的博客
01-08 2237
mode：‘fan_in’ (default)或者‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变；使用fan_out保持weights的方差在反向传播中不变。 在使用过程中，一般都要默认设置fan_out 见Pytorch官网详解
深度学习- 2.10 Xavier方法与kaiming方法（HE初始化）
weixin_43186779的博客
03-21 3461
尽管Xavier初始化能够在Sigmoid和tanh激活函数叠加的神经网络中起到一定的效果，但由于ReLU激活函数属于非饱和类激活函数，并不会出现类似Sigmoid和tanh激活函数使用过程中可能存在的梯度消失或梯度爆炸问题，反而因为ReLU激活函数的不饱和特性，ReLU激活函数的叠加极有可能出现神经元活性消失的问题，很明显，该类问题无法通过Xavier初始化解决。对于参数初始化计算过程，最重要的是确定参数的方差，如果是正态分布，由于均值是0，因此可以快速确定其分布，而如果是均匀分布，则可通过。
pytorch学习：xavier分布和kaiming分布
qq_40206371的博客
08-31 3390
1 函数的增益值 torch.nn.init.calculate_gain(nonlinearity, param=None)提供了对非线性函数增益值的计算。 增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。 常见的非线性函数的增益值（gain）有： 2fan_in和fan_out 以下是pytorch计算fan_in和fan_out的源码 def _calculate_fan_in_and_fan_out(tensor): dimensions = ...
[十五]深度学习Pytorch-权值初始化(Xavier和Kaiming)
yanzhiwen2的博客
04-06 3790
深度学习Pytorch-权值初始化(Xavier和Kaiming)
对Pytorch神经网络初始化kaiming分布详解
01-20
def _calculate_fan_in_and_fan_out(tensor): dimensions = tensor.ndimension() if dimensions raise ValueError("Fan in and fan out can not be computed for tensor with fewer than 2 dimensions") if ...
pytorch默认初始化_Pytorch参数初始化--默认与自定义
weixin_39580950的博客
12-22 2428
1. Pytorch module默认初始化Pytorch 的Module都只带默认的初始化方法，而且初始化会调用此函数，因此我们定义好后，不用手动初始化。Convclass _ConvNd(Module):__constants__ = ['stride', 'padding', 'dilation', 'groups', 'bias','padding_mode', 'output_paddi...
fan_in / fan_out 的理解
tangweirensheng的博客
10-08 1734
从内置函数_calculate_fan_in_and_fan_out来看fan_in 和 fan_out 的定义 如果输入数据 tensor 的维度等于2， 如果输入数据 tensor的维度大于2 recpetive_field_size就是第三维度 *第四维度... 例如， conv1=nn.Conv2d(16, 64, 3, 3, stride=1) tensor_dim=4, tensor.shape=( 64, 16, 3, 3) receptive_fi...
深度学习中的fan_in与fan_out
wumo1556的博客
01-21 8851
Understanding the difficulty of training deep feedforward neural network 中，fan_in指第i层神经元个数，fan_out指第i+1层神经元个数。通常卷积网络不是全连接的，fan_in与fan_out的计算方式有所不同。 pytorch中: fanin=channelsin×kernerwidth×kernerheightf...
Kaiming weight initialization中 fan_in / fan_out的理解
tangweirensheng的博客
10-08 720
从内置函数_calculate_fan_in_and_fan_out来看fan_in 和 fan_out 的定义 如果输入数据 tensor 的维度等于2， 如果输入数据 tensor的维度大于2 recpetive_field_size就是第三维度 *第四维度... 例如， conv1=nn.Conv2d(16, 64, 3, 3, stride=1) tensor_dim=4, tensor.shape=( 64, 16, 3, 3) receptive_fie...
PyTorch深度学习实战——数据读取~
m0_52573426的博客
03-05 4824
正确读取数据是训练一个神经网络模型的第一步，本文主要介绍pytorch中是如何定义和读取这些数据集的。在pytorch中已经包含了部分常用数据集（例如MNIST等），可以直接使用，但在实际工程应用中仅仅使用pytorch自带的数据集远远不够，有时还需要自定义数据集来满足需求。下面内容中，将从pytorch自带数据集和自定义数据集两部分介绍数据集制作和读取方法。
Pytorch Kaiming 初始化（Initialization）中fan_in和fan_out的区别/应用场景
bxdzyhx的博客
02-28 5091
fan_in 如果权重是通过线性层（卷积或全连接）隐性确定的，则需设置mode=fan_in。 例子： import torch linear_layer = torch.nn.Linear(node_in, node_out) init.kaiming_normal_(linear.weight, mode=’fan_in’) output_data = relu(linear_layer(input_data)) fan_out 如果通过创建随机矩阵显式创建权重，则应进行设置mode=‘fan_ou
权重初始化
allein_STR的博客
12-15 2439
目录 1.为什么需要好的权重初始化 2.kaiming初始化的两个方法 2.1先来个结论 2.2再来个源码 3.推导的先验知识 3.1用变量来看待问题 3.2几个公式 4.kaiming初始化 4.1前向传播时每层的方差都是1 4.2反向传播时梯度的方差都是1 【导语】在CNN的训练中，权重初始化是一个比较关键的点。好的权重初始化可以让网络的训练过程更加稳定和高效。本文为大家介绍了kaiming初始化以及详细的推导过程，希望可以让大家更好的理解CNN初始化。 1.为什么需要好的权重初
Pytorch神经网络初始化kaiming分布
热门推荐
winycg的博客
01-25 2万+
函数的增益值 torch.nn.init.calculate_gain(nonlinearity, param=None) 提供了对非线性函数增益值的计算。 增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。 fan_in和fan_out pytorch计算fan_in和fan_out的源码 def _calculate_fan_in_and_fan_out(tensor): ...
数字电路基本概念 —— fan-in/fan-out
weixin_30709635的博客
03-01 1211
0. 从模拟电路到数字电路 数字电路抗干扰能力强； 模拟电路会随着信号的传输而放大，这是因为模拟电路中信号几乎完全将真实信号按比例表现为电压或者电流的形式； 模拟电路是数字电路的基础 74LS283 的加法器，计算器中使用的便是这种电路； 胶卷相机可以被数码相机取代； 黑胶唱片可以被 mp3 代替； 数字电路执行的是逻辑运算； 0/1 1. fan-in 与 ...
``` class MLP(nn.Module): def _init_weights(self): for m in self.modules(): if isinstance(m, nn.Linear): if hasattr(m, 'act'): if isinstance(m.act, nn.Tanh): nn.init.xavier_normal_(m.weight, gain=5/3) elif isinstance(m.act, nn.Hardswish): # 使用PyTorch支持的hardswish nn.init.kaiming_normal_(m.weight, mode='fan_in', nonlinearity='hardswish') elif isinstance(m.act, GaussSwish): # 自定义Swish使用Xavier初始化 nn.init.xavier_normal_(m.weight, gain=1.676) else: nn.init.xavier_uniform_(m.weight) # 偏置项保持原逻辑 if m.bias is not None: nn.init.constant_(m.bias, 0)```ValueError: Unsupported nonlinearity hardswish
03-20
<think>嗯，用户遇到了一个ValueError，说是不支持hardswish这个非线性函数的初始化。我需要仔细看看他们的代码，找出问题所在。 首先，用户定义了一个MLP类，里面的_init_weights方法负责初始化权重。在检查每个模块时，如果是nn.Linear层，并且该层有一个act属性，那么会根据不同的激活函数类型应用不同的初始化方法。对于nn.Hardswish的情况，他们使用了nn.init.kaiming_normal_，并设置了nonlinearity=&#39;hardswish&#39;。但是PyTorch的Kaiming初始化可能不支持这个参数，导致错误。 我记得在PyTorch的版本更新中，某些激活函数的支持是逐步添加的。比如，可能在较早的版本中，Kaiming初始化并不支持hardswish这个非线性参数。需要确认用户使用的PyTorch版本是否过旧。假设用户用的是1.6之前的版本，那么确实会出现这个问题，因为Hardswish是在1.6版本之后才被引入的。 解决方法有几个方面。首先，建议用户升级PyTorch到1.6或更高版本，这样官方应该已经支持了hardswish的初始化。如果升级不可行，可能需要修改初始化方法，比如改用其他支持的nonlinearity参数，比如&#39;relu&#39;，或者参考PyTorch文档中支持的选项。另外，用户也可以手动计算gain值，使用xavier初始化代替，避免依赖Kaiming的nonlinearity参数。 另外，用户的代码里在初始化时使用了不同的方法，比如Xavier和Kaiming，这取决于激活函数类型。对于自定义的GaussSwish，用了Xavier，这可能没问题。但Hardswish的初始化可能需要特定的处理。如果用户不能升级PyTorch，可能需要调整初始化策略，或者自定义初始化方式。 总结下来，问题出在旧版PyTorch不支持hardswish作为Kaiming初始化的参数。解决方案包括升级PyTorch、改用其他初始化方法，或者手动调整参数。需要将这些可能性清晰地解释给用户，并给出具体的代码修改建议。</think>这个错误是因为在PyTorch旧版本中，`kaiming_normal_`初始化方法不支持`hardswish`非线性参数。让我们分步骤分析并解决这个问题： --- ### **错误原因分析** 1. **版本兼容性问题**： - `nn.Hardswish`在PyTorch 1.6+ 才被正式支持 - `kaiming_normal_`的`nonlinearity`参数在旧版本中可能未包含`hardswish`选项 2. **代码逻辑问题**： - 当检测到`nn.Hardswish`激活函数时，尝试使用`nonlinearity=&#39;hardswish&#39;`会导致参数不匹配 --- ### **解决方案** #### **方法一：升级PyTorch（推荐）** ```bash # 升级到最新稳定版（需>=1.6） pip install torch --upgrade ``` #### **方法二：修改初始化策略** ```python elif isinstance(m.act, nn.Hardswish): # 改用PyTorch支持的初始化参数 nn.init.kaiming_normal_(m.weight, mode=&#39;fan_in&#39;, nonlinearity=&#39;relu&#39;) # 临时替代方案 # 或使用Xavier初始化兼容方案 nn.init.xavier_normal_(m.weight, gain=nn.init.calculate_gain(&#39;relu&#39;) * 1.7) ``` --- ### **技术原理说明** 1. **初始化与激活函数的关系**： - Xavier初始化：适合Sigmoid/Tanh等饱和激活函数，数学表达式：$W \sim \mathcal{U}(-\sqrt{\frac{6}{n_{in}+n_{out}}}, \sqrt{\frac{6}{n_{in}+n_{out}}})$ - Kaiming初始化：更适合ReLU族非饱和激活函数，数学表达式：$W \sim \mathcal{N}(0, \sqrt{\frac{2}{n_{in}}})$ 2. **Hardswish特性**： - 定义：$f(x) = x \cdot \frac{\text{ReLU6}(x+3)}{6}$ - 与ReLU的梯度特性相似，因此可暂时借用ReLU的初始化参数 --- ### **改进后的完整代码** ```python class MLP(nn.Module): def _init_weights(self): for m in self.modules(): if isinstance(m, nn.Linear): if hasattr(m, &#39;act&#39;): if isinstance(m.act, nn.Tanh): nn.init.xavier_normal_(m.weight, gain=5/3) elif isinstance(m.act, nn.Hardswish): # 兼容旧版本方案 nn.init.kaiming_normal_(m.weight, mode=&#39;fan_in&#39;, nonlinearity=&#39;relu&#39;) # 或使用修正后的Xavier # nn.init.xavier_normal_(m.weight, gain=1.7) elif isinstance(m.act, GaussSwish): nn.init.xavier_normal_(m.weight, gain=1.676) else: nn.init.xavier_uniform_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0) ``` --- ### **验证建议** 1. 打印PyTorch版本确认： ```python import torch print(torch.__version__) # 需要>=1.6.0 ``` 2. 测试初始化效果： ```python layer = nn.Linear(10, 10) layer.act = nn.Hardswish() MLP()._init_weights() # 应不再报错 ``` --- ### **扩展知识** 对于自定义激活函数（如`GaussSwish`），建议通过实验确定最佳增益值： 1. 增益计算公式：$gain = \sqrt{\frac{2}{\text{Var}(f&#39;(x))}}$ 2. 可通过蒙特卡洛采样近似计算： ```python x = torch.randn(10000) output = custom_act(x) gain = 1 / torch.std(output) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值