DaVinciL的博客

title: 步长stride为1的二维卷积方法的反向传播算法date: 2019-05-24 12:32:01tags: [卷积, 反向传播, 深度学习]category: 深度学习toc: truethumbnail: gallery/DeepLearning.jpg前言  近年来，深度学习的快速发展带来了一系列喜人的成果，不管是在图像领域还是在NLP领域，深度学习都显示了其极...

我的个人博客：https://huaxuan0720.github.io/ ，欢迎访问前言  在之前讨论了步长stride为1的卷积方式的反向传播，但是很多时候，使用的卷积步长会大于1，这个情况下的卷积方式的反向传播和步长为1的情况稍稍有些区别，不过区别并没有想象中那么大，因此下面就对步长stride大于1的情况进行简单的阐述。请注意：这里的所有推导过程都只是针对当前设置的参数信息，并不具...

我的个人博客：https://huaxuan0720.github.io/ ，欢迎访问前言  在前面的文章中，介绍了二维平面上的卷积及其反向传播的算法，但是，步长为1和2毕竟都是两个比较小的数字，如果换成更大的数字，反向传播的方式是不是还适合呢？所以，我们考虑下面这个十分极端的例子，来验证反向传播算法的有效性。一、参数设置  在之前的参数设置中，我们使用的输入矩阵都是5x5，在这篇文...

title: 代码实现二维平面上的卷积及其反向传播date: 2019-05-24 12:32:59tags: [卷积, 反向传播, 深度学习]category: 深度学习toc: truethumbnail: gallery/DeepLearning.jpg前言  在前面的叙述中，我们都是在二维平面上做卷积操作，并在此基础上进行了反向传播算法的推导和计算，但是，如果仅仅限于理论怕...

我的个人博客：https://huaxuan0720.github.io/ ，欢迎访问前言  前面讲了很多二维平面上的卷积，甚至用代码实现了一个简单的两层二维卷积网络，但是在实际的情况下，我们使用的更多的是三维矩阵，即矩阵的shapeshapeshape往往是[height,width,channels][height, width, channels][height,width,chan...

前言  这几天面试遇到了这样一个问题，如果卷积层的权重被赋值为0，会发生什么？  解决这个问题我们首先定义一下在神经网络中的基本权重和偏置的初始化情况，在TensorFlow中，权重一般由用户初始化，可选择很多初始化方式，如glorot_normal_initializer()等，但是偏置在默认的情况下一般初始化为0，具体可以参考tf.layers.conv2d和tf.layers.dense...