假设原始张量 x x x的形状信息为 [ k , l , m , n ] [k,l,m,n] [k,l,m,n],现在 n o i s e s h a p e = [ k , 1 , 1 , n ] noise_shape=[k,1,1,n] noiseshape=[k,1,1,n], x x x的第一个维度和noise_shape的第一个维度是一致的,都为 k k k,就是说,原始张量的第一个维度的去留是随机的,但这个随机的“粒度”不再是以元素为单位,而是以这个“维度”为整体,要么一起保留下来,要么一起丢弃。被丢弃的整行或者整列元素都为0。注意:如果某个维度不相等,noise_shape在该维度只能为1。如上面的 x x x的 l l l和noise_shape的 1 1 1。具体看代码:
import tensorflow as tf
with tf.Session() as sess:
d=tf.constant([[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,13,15,16]])
d=tf.cast(d,tf.float32)#因为留下来的元素要乘以1/rate,所以传入的必须是tf.float32类型,这里强转一下
print(sess.run(d))
print(sess.run(tf.nn.dropout(d,0.5)))
print(sess.run(tf.nn.dropout(d,0.5,noise_shape=[4,1])))#按行丢弃
print(sess.run(tf.nn.dropout(d,0.5,noise_shape=[1,4])))#按列丢弃
运行结果如下: