Batch
在某课程deep Learning中,提出过选择2的次幂可以加快二进制的计算,但没说具体的原因。
2的次幂只有在做乘除运算的时候,比较快。好比10进制乘除,最简单的是什么?x10和/10吧。只要移动小数点或者加减尾数的0即可。二进制也一样,x2 /2就是移位。但是这个并不意味着batch size必须是2次幂。
Batch Normalization 批标准归一化
BN的基本思想其实相当直观:因为深层神经网络在做非线性变换前的激活输入值,随着网络深度加深或者在训练过程中,其分布逐渐发生偏移或者变动,之所以训练收敛慢,一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近,所以这导致反向传播时低层神经网络的梯度消失,这是训练深层神经网络收敛越来越慢的本质原因,而BN就是通过一定的规范化手段,把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布,其实就是把越来越偏的分布强制拉回比较标准的分布,这样使得激活输入值落在非线性函数对输入比较敏感的区域,这样输入的小变化就会导致损失函数较大的变化,意思是这样让梯度变大,避免梯度消失问题产生,而且梯度变大意味着学习收敛速度快,能大大加快训练速度。
代码示例:
from_tensor_slices函数使输入特征和标签值一一对应。(把数据集分批次,每个批次batch组数据)
train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32) #分批次喂入
test_db = tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32)
调用fit
model.fit(x_train, y_train, batch_size=32, epochs=500, validation_split=0.2, validation_freq=20)