深度学习基础(二):神经网络参数初始化、Batch size和Optimization
1.神经网络初始化初识化神经网络权重www1.1固定方差1)高斯分布E=0E=0E=0,参数分布符合N(0,σ2)N(0,\sigma^2)N(0,σ2),σ\sigmaσ过小会导致输出神经元过小,经过多层后会慢慢消失,也可能会造成sigmoid函数丢失非线性的能力。2)均匀分布1.2基于方差缩放1)Xavier初始化(Glorot)glorot_uniform,根据每层神经元数量调整参数方差。self.gru = tf.keras.layers.GRU(self.dec_units,
复制链接