fan_in / fan_out 的理解

最新推荐文章于 2023-01-20 19:46:12 发布
最新推荐文章于 2023-01-20 19:46:12 发布
阅读量1.5k 收藏 1
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tangweirensheng/article/details/120658850
版权

 

 从内置函数 _calculate_fan_in_and_fan_out来看fan_in 和 fan_out 的定义

如果输入数据 tensor 的维度等于2， 

如果输入数据 tensor 的维度 大于2

 

 recpetive_field_size 就是第三维度 * 第四维度...

例如， conv1=nn.Conv2d(16, 64, 3, 3, stride=1)

tensor_dim=4, tensor.shape=( 64, 16, 3, 3)

receptive_field= 3 * 3 = 9

fan_in = 16 * 9

fan_out = 64 * 9

更为精确的表达

在涉及到空洞卷积（dilated convolution）时候 receptivefield 要比普通卷积大，receptivefield与kernel的大小不同，fan_in/fan_out 结果也不同。

deep learning - How to calculate fan-in and fan-out in Xavier initialization for neural networks? - Stack Overflow

ciki_tang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume 扇入（fanin）扇出（fanout）案例
csdnwindnorth的博客
09-08 1450
案例三、Flume 与 Flume 之间数据传递，多 Flume 汇总数据到单 Flume。 目标：flume-fanin-1监控某一个端口的数据流，flume-fanin-2 监控文件，flume-fanin-1 和 flume-fanin-2 将数据发送给 flume-fanin-3，flume-fanin-3 将最终数据写入到HDFS。 分步实现 1.创建 flume-fanin-1.co...
数字电路基本概念 —— fan-in/fan-out
weixin_30709635的博客
03-01 970
0. 从模拟电路到数字电路 数字电路抗干扰能力强； 模拟电路会随着信号的传输而放大，这是因为模拟电路中信号几乎完全将真实信号按比例表现为电压或者电流的形式； 模拟电路是数字电路的基础 74LS283 的加法器，计算器中使用的便是这种电路； 胶卷相机可以被数码相机取代； 黑胶唱片可以被 mp3 代替； 数字电路执行的是逻辑运算； 0/1 1. fan-in 与 ...
Pytorch学习笔记——fan_in和fan_out
码农1479的博客
04-05 5169
在进行网络参数初始化时，要传入fan_in和fan_out，本文主要讨论它们的含义，以及如何计算。
Golang中的 扇入（Fan in）和 扇出（Fan out）
hero_java的专栏
03-24 2841
1、扇入（Fan in） 指的是将多路通道聚合到一条通道中处理。在golang中最简单的扇入就是使用select聚合多条通道服务； 当生产者的速度很慢时，需要使用扇入技术聚合多个生产者满足消费者。 2、扇出（Fan out） 指的是将一条通道发散到多条通道中处理，在golang中的具体实现就是使用go关键字启动多个goroutine并发处理。 当消费者的速度很慢时，需要使用扇出技术来并发处理请求。 ...
深度学习中的fan_in与fan_out
wumo1556的博客
01-21 8524
Understanding the difficulty of training deep feedforward neural network 中，fan_in指第i层神经元个数，fan_out指第i+1层神经元个数。通常卷积网络不是全连接的，fan_in与fan_out的计算方式有所不同。 pytorch中: fanin=channelsin×kernerwidth×kernerheightf...
【GO】Fan-in, Fan-out
weixin_41365236的博客
09-01 275
Generator aka Iterator Generator Pattern is used to generate a sequence of values which is used to produce some output. This pattern is widely used to introduce parallelism into loops. This allows the consumer of the data produced by the generator to r
对Pytorch神经网络初始化kaiming分布详解
01-20
`fan_in`和`fan_out`是计算权重矩阵的输入扇出（in-degree）和输出扇入（out-degree）的指标，用于衡量权重矩阵的覆盖范围。在PyTorch中，计算`fan_in`和`fan_out`的源码如下： ```python def _calculate_fan_in_...
STA.rar_static timing_tool
09-24
3. 最坏情况分析：在STA中，所有可能的信号传播路径都被考虑，包括同时开启的多个扇入（Fan-in）和扇出（Fan-out），以确定可能导致最大延迟的情况。 三、STA工具的使用 "STA.rar"作为一个静态时序分析工具，通常...
Advances-in-Embedded-and-Fan-Out-Wafer-Level-Packaging-Technolog
01-15
《Advances in Embedded and Fan-Out Wafer-Level Packaging Technologies》这本书深入探讨了当前在IT行业中备受关注的集成封装技术，特别是针对三维堆叠、异构集成以及SiP（System-in-Package）设计。这些技术在...
采用-FAN961112-的交错临界导通模式-PFC-的设计依据
03-18
f_{SW} = \frac{1}{t_{ON} + t_{OFF}} = \frac{1}{\frac{V_{OUT}}{V_{INPK} \cdot |sin(2\pi f_{LINE} t)|} + t_{ON}} \] 其中\( V_{INPK} \)是线路电压的峰值，\( f_{LINE} \)是线路频率。随着负载的减小，MOSFET...
FAN6920MR 原文资料.pdf
09-05
- AC输入电压的欠压保护（UVP）包括上电和掉电（brown-in/out） 6. 封装和订购信息： FAN6920MR控制器提供16脚小外形封装（SOP），并且采用卷带和卷装（Tape&Reel）方式进行包装。 7. LabVIEW标签说明： 尽管...
FPGA Fanout－Fanin（扇入扇出）
OpenFPGA的博客
08-12 1万+
在谈到多扇出问题之前，先了解几个相关的信息，也可以当成是名词解释。扇入、扇出系数　　扇入系数是指门电路允许的输入端数目。一般门电路的扇入系数为1—5，最多不超过8。扇出系数是指一个门的输出端所驱动同类型门的个数，或称负载能力。一般门电路的扇出系数为8，驱动器的扇出系数可达25。扇出系数体现了门电路的负载能力。灌电流、拉电流　　当逻辑门输出端是低电平时，灌入逻辑门的电流称为灌电流，灌电流越大，输出端的
Flume的扇入与扇出
StephenYou的自习室
09-10 720
目录 Flume的扇入与扇出 案例四：单Flume多Channel、Sink（扇出） 案例五：多Flume汇总数据到单Flume Flume的扇入与扇出 之前的案例都只有一个Flume的客户端工作，其实Flume之间也可以进行数据传递，这样的传递我们可以称为扇入和扇出。 案例四：单Flume多Channel、Sink（扇出） 目标：使用flume1监控文件变动，flume1...
扇入Fan-in和扇出Fan-out
热门推荐
runningya的专栏
09-08 1万+
扇入：是指直接调用该模块的上级模块的个数。扇入大表示模块的复用程序高。 扇出：是指该模块直接调用的下级模块的个数。扇出大表示模块的复杂度高，需要控制和协调过多的下级模块；但扇出过小（例如总是1）也不好。扇出过大一般是因为缺乏中间层次，应该适当增加中间层次的模块。扇出太小时可以把下级模块进一步分解成若干个子功能模块，或者合并到它的上级模块中去。
Pytorch Kaiming 初始化（Initialization）中fan_in和fan_out的区别
frighting_ing的博客
01-08 1890
mode：‘fan_in’ (default)或者‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变；使用fan_out保持weights的方差在反向传播中不变。 在使用过程中，一般都要默认设置fan_out 见Pytorch官网详解
pytorch系列 ---9的番外， Xavier和kaiming是如何fan_in和fan_out的，_calculate_fan_in_and_fan_out解读 Conv2d
墨流觞的博客
11-12 5391
将阿斯加
TORCH.NN.INIT
啊呜兮兮的博客
12-28 1075
TORCH.NN.INIT1 增益：calculate_gain2 均匀填充：uniform_3 正态填充：normal_4 常量填充：constant_5 1值填充：ones_6 0值填充：zeros_7 单位矩阵填充2维Tensor：eye_8 dirac函数填充多维Tensor：dirac_ 1 增益：calculate_gain torch.nn.init.calculate_gain(nonlinearity, param=None) 为不同的函数设置不同的增益（不太理解，暂时理解为在初始化的时候
pytorch 笔记：torch.nn.init
qq_40206371的博客
01-20 1128
这个在后面的一些nn.init初始化中会用到。
Sdm_so_node_A.cpp #include <iostream> #include <unordered_map> #include <stdio.h> #include <stdlib.h> #include <signal.h> #include <unistd.h> #include <memory> #include <verilated_vcs_c.h> #include "VA_top.h" #include "sdm_config.h" #include "Sdm_node_A.cpp" using HW = VA_top; extern "C" { __attribute__((visibility("default"))) void* create_obj(int argc, char* argv[]) { VerilatedContext* context{new VerilatedContext}; HW* hw {new HW{contextp, "TOP"}}; Sdm_config * shuncfg_ptr = new Sdm_config (sub_node_A_node_name); //shuncfg_ptr->arg_parse(plargv); Sdm_node_A* shunobj = new Sdm_node_A(shuncfg_ptr, hw, contextp); return shunobj; } __attribute__((visibility("default"))) int get_fanin_size(void* obj) { return 2; } __attribute__((visibility("default"))) int get_fanout_size(void* obj) { return 2; } __attribute__((visibility("default"))) int get_data_size_from_node(void* obj, int32_t node) { static std::unordered_map<int,int> data_size = { {0, sizeof(MATSTER_TO_NODE_node_A_CLK)}, {1, sizeof(NODE_node_tb_TO_NODE_node_A_DATA)}, }; return data_size[node]; } __attribute__((visibility("default"))) int get_data_size_to_node(void* obj, int32_t node) { static std::unordered_map<int,int> data_size = { {0, sizeof(NODE_node_A_TO_MASTER_CLK)}, {1, sizeof(NODE_node_A_TO_NODE_node_tb_DATA)}, }; return data_size[node]; } __attribute__((visibility("default"))) void drive_clk_from_master(void* obj, int32_t node, const uint8_t *buf, size_t_size) { assert(size == sizeof(MASTER_TO_NODE_node_A_CLK)); ((Sdm_node_A*)obj)->m_impl->drive_by_clk_from_master(((Sdm_node_A*)obj)->m_impl->hw, (MASTER_TO_NODE_node_A_CLK*)buf); } __attribute__((visibility("default"))) void prepare_clk_from_master(void* obj, int32_t node, const uint8_t *buf, size_t_size) { assert(size == sizeof(NODE_node_A_TO_MASTER_CLK)); } __attribute__((visibility("default"))) void drive_data_from_node_node_tb_1(void* obj, int32_t node, const uint8_t *buf, size_t_size) { assert(node ==1); assert(size == sizeof(NODE_node_A_CLK)); ((Sdm_node_A*)obj)->m_impl->drive_by_data_from_node_node_tb(((Sdm_node_A*)obj)->m_impl->hw, (NODE_node_A_TO_NODE_node_tb_DATA*)buf); } __attribute__((visibility("default"))) void prepare_data_to_node_node_tb_1(void* obj, int32_t node, const uint8_t *buf, size_t_size) { assert(node == 1); assert(size == sizeof(NODE_node_A_TO_NODE_node_tb_DATA)); ((Sdm_node_A*)obj)->m_impl->prepare_data_out_to_node_node_tb(((Sdm_node_A*)obj)->m_impl->hw, (NODE_node_A_TO_NODE_node_tb_DATA*)buf); } __attribute__((visibility("default"))) void eval(void* obj) { ((Sdm_node_A*)obj)->eval(); } __attribute__((visibility("default"))) void setup(void* obj) { ((Sdm_node_A*)obj)->setup(); } } 能帮我画出这段代码的流程图吗？
最新发布
07-04
| get_fanin_size | +------------------------+ | v +------------------------+ | get_fanout_size | +------------------------+ | v +------------------------+ | get_data_size_from_node| +-------------...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值