一般,我们需要对神经网络的输入样本进行归一化,通常有多种选择,比如归一化到[0,1],或归一化到[-1,1]。
这两种方法,哪种归一化方法更好呢?还是没有区别。
现在的实验经验,一般归一化后的数值沿原点对称最好,即归一化到[-1,1]可以期待取得更好的效果。
因此,推荐在归一化时,把样本数据归一化到[-1,1],或者其他相对于原点对称的范围。
对应的,似乎使用双极性激活函数(tanh)优于单极性激活函数(sigmoid),因为tanh的激活值范围[-1,1],而sigmoid的激活值范围是[0,1]