数据标准化遇到的问题

一次测试时因为数据标准化遇到了一点问题，还不是特别理解，资料也查不到，记录一下，以后说不定有用。
具体场景：学习卷积神经网络的时候，我测试网上查到的一种将数据和标签添加到队列的方法是不是可靠的。就发现数据和标签总是不完全匹配。然后就一行行测试，发现注释掉image = tf.image.per_image_standardization(image)这个函数就好了。一查，对数据进行标准化。
正好我用的数据（图片）很极端。总共就两类，一类全是0，一类全是255的，所以标准化一下，全是0了。那两类数据就一样了，还怎么分类，当时我就说，怎么标签是会变的，但是数据却总是O的那一类。
尽管标准化有很多好处，但是我却没看到谁说他的弊端，至少我觉得这是一种不适用的情况吧。