ceffe 中Relu的理解

1.relu对输入的非负值不做处理，对负值做置零处理.  而高斯卷积层的结果全为非负数，那么如果relu层的上一层为高斯卷积层，是不是relu层就没有作用了？一开始，我对这个问题也很困惑，后来发现了答案，本来灰度图像的像素时没有负值的，但是caffe在使用图片的时候，可以设置是否使用均值文件，如果使用均值文件，那么像素的范围不再时[0    ,255] 而是[-255,255],此时灰度图像有可能为负值，另外由于网络在每一次反向传播结束后都会对权值进行更新，那么更新后的高斯核中就由可能出现负值，进而高斯卷积层的输出也可能出现负值，所以Relu 层并非对高斯卷积层不起作用。