Rudy95的博客

Batch_normalization是什么？传统的神经网络，只是在将样本x进入到输入层之前对x进行0-1标准化处理（减均值，除标准差），以降低样本间的差异性，如下图所示：。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化，如下图所示：加了一个batch_normalization层后，输入x首先乘以权重加上偏置得到s1，对s1进行归一化后，再进行伸...

BP的流程：CNN前向：反向：尺寸计算参数计算RNN前向：后向：

信息熵：衡量系统中不确定的程度、编码方案完美时，最短平均编码长度交叉熵：码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数相对熵又称为散度：交叉熵-信息熵，relative entropy。编码方案不一定完美时，平均编码长度相对于最小值的增加值。参考链接：https://www.zhihu.com/question/41252833神经网络中为什么...