dropout的noise_shape含义

假设原始张量$x$的形状信息为$[k,l,m,n]$,现在$nois{e}_{s}hape=[k,1,1,n]$,$x$的第一个维度和noise_shape的第一个维度是一致的，都为$k$,就是说，原始张量的第一个维度的去留是随机的，但这个随机的“粒度”不再是以元素为单位，而是以这个“维度”为整体，要么一起保留下来，要么一起丢弃。被丢弃的整行或者整列元素都为0。注意：如果某个维度不相等，noise_shape在该维度只能为1。如上面的$x$的$l$和noise_shape的$1$。具体看代码：

import tensorflow as tf
with tf.Session() as sess:
    d=tf.constant([[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,13,15,16]])
    d=tf.cast(d,tf.float32)#因为留下来的元素要乘以1/rate，所以传入的必须是tf.float32类型，这里强转一下
    print(sess.run(d))
    print(sess.run(tf.nn.dropout(d,0.5)))
    print(sess.run(tf.nn.dropout(d,0.5,noise_shape=[4,1])))#按行丢弃
    print(sess.run(tf.nn.dropout(d,0.5,noise_shape=[1,4])))#按列丢弃

运行结果如下：