tf_矩阵的广播机制

在神经网络的添加层中

def add_layer(inputs, in_size, out_size,activation_function = None):
Weights = tf.Variable(tf. random_normal([in_size,out_size]))
biases = tf.Variable(tf.zeros([1,out_size])+ 0.1)# like list
Wx_plus_b = tf.matmul(inputs,Weights) + biases
#inputs 和 Weights 相乘后的结果不一定会和 biases 的 shape 相同,所以会困惑它们是怎样运算的,原来是 tf 中矩阵运算的广播机制在暗中作怪,使得 n 行 10 列的矩阵也可以与 1 行 10 列的矩阵相加,大概是通过自动 tile 的方法,相当于 inputs 和 Weights 相乘后的结果每一行都会与 biases 相加运算
if activation_function is None:
    outputs = Wx_plus_b
else:
    outputs = activation_function(Wx_plus_b)
return outputs

example

import tensorflow as tf
x = tf.random_normal([3, 3])
y = tf.random_normal([1, 3])
z = x + y

sess = tf.Session()
z_val = sess.run(z)
print(z_val)

TensorFlow 会隐式地把一个张量的异常维度调整到与另一个算子相匹配的维度以实现维度兼容。所以将一个维度为 [3,2] 的张量与一个维度为 [3,1] 的张量相加是合法的。这种操作在神经网络中也是常见,方便了不同维度向量之间的运算。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值