博文的专栏

反向传播神经网络–自编码-解码器的数据形状（shape info）分析目标分析自编码-解码器这种神经网络，训练时，数据形状的变化。Shape info A[3,2]表示A矩阵有3行2列。网络结构使用MNIST数据，输入层有 28 * 28 = 784个节点。第二层250个节点。第三层10个节点。第四层250个节点。第五层 28 * 28 = 784个节点。除了最后一层，其他层都...

反向传播神经网络–基本原理（反向传播）反向传播代价函数/损失函数C (cost/loss)代价函数是用来估算最后一层节点输出的值 与 目标的值的差距的函数。如二次方损失函数，C=12n∑x∣∣y(x)−aL(x)∣∣2C = \frac{1}{2n}\sum_{x} || y(x) - a^{L}(x) ||^2C=2n1​∑x​∣∣y(x)−aL(x)∣∣2，通常为了方便计算和求导，会...

反向传播神经网络–基本原理（前向传播）前向传播权重w （weight）如上图，w243w_{24}^{3}w243​，表示从第2层（3-1=2）第4个节点 到 第3层第2个节点的权重。wjklw_{jk}^{l}wjkl​中，l表示layer，j表示当前层第j个节点，k表示上一层第k个节。通常，一层节点中，会涉及到 P × Q 个权重，P是当前层节点的个数，Q是上一层节点的个数。偏转...