Broadcasting机制在TensorFlow中是一种张量维度扩展的方式，它避免了数据层面的复制，通过插入尺寸为1的维度来匹配不同大小的张量。该机制在处理如向量加法等操作时减少了内存消耗，例如在给所有学生加五分的需求中。Broadcasting通过从最低维度匹配并按需扩展，允许不完全匹配的张量进行运算。tf.broadcast_to函数用于将输入张量的形状转换为指定形状，实现这一机制。Broadcasting对比Tile，在效率上更优，因为它不复制内存。
4. Broadcasting 机制
张量维度扩张的一个手段，对一个数据重复n多次，但是没有在数据层面上的复制
Key idea
- insert 1 dim ahead if needed
需要位置插入 1 dim。 - espand dims with size 1 to same size
给 dim 为 1 的扩展成所需的数量
例如：Feature maps: [4, 32, 32, 3]
变化过程：Bias: [3] → [1, 1, 1, 3] → [4, 32, 32, 3]
In [31]: x=tf.random.normal([4,32,32,3])
In [32]: (x+tf.random.normal([3])).shape
Out[32]: TensorShape([4, 32, 32, 3])
In [33]: (x+tf.random.normal([32,32,1])).shape
Out[33]: TensorShape([4, 32, 32, 3])
In [34]: (x+tf.random.normal([4,1,1,1])).shape
Out[34]: TensorShape([4, 32, 32, 3])
In [35]: (x+tf.random.normal([1,4,1,1])).shape #报错
---------------------------------------------------------------------------
InvalidArgumentError Traceback (most recent call last)
最低0.47元/天 解锁文章
305
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
