lygeneral的博客

1.神经网络初始化 初识化神经网络权重www 1.1固定方差 1）高斯分布 E=0E=0E=0，参数分布符合N(0,σ2)N(0,\sigma^2)N(0,σ2)，σ\sigmaσ过小会导致输出神经元过小，经过多层后会慢慢消失，也可能会造成sigmoid函数丢失非线性的能力。 2）均匀分布 1.2基于方差缩放 1）Xavier初始化（Glorot） glorot_uniform，根据每层神经元数量调整参数方差。 self.gru = tf.keras.layers.GRU(self.dec_units,

1. 图计算理论 计算图中节点为基本公式，权重为两节点间导数。 对公式e=（a+b）∗(b+1)e=（a+b）*(b+1)e=（a+b）∗(b+1)，令c=a+b,d=b+1c=a+b,d=b+1c=a+b,d=b+1，则e=c∗de=c*de=c∗d 因此，∂e∂b=∂e∂c∂c∂b+∂e∂d∂d∂b=2∗1+3∗1=5\frac{\partial e}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac