2016年08月_xqp_dream

08月 07月 06月 04月 03月 02月

原创 CNN卷积神经网络--反向传播（3，初识卷积反向算法）

CNN反向传播求导时的具体过程可以参考论文Notes on Convolutional Neural Networks, Jake Bouvrie，该论文讲得很全面，比如它考虑了pooling层也加入了权值、偏置值及非线性激发(因为这2种值也需要learn)，对该论文的解读可参考zouxy09的博文CNN卷积神经网络推导和实现。除了bp算法外，本人认为理解了下面4个子问题，基本上就可以弄懂CN

2016-08-30 14:41:18 11862 5

原创 CNN卷积神经网络--反向传播（4，代码理解）

反向传输过程是CNN最复杂的地方，虽然从宏观上来看基本思想跟BP一样，都是通过最小化残差来调整权重和偏置，但CNN的网络结构并不像BP那样单一，对不同的结构处理方式不一样，而且因为权重共享，使得计算残差变得很困难，很多论文[1][5]和文章[4]都进行了详细的讲述，但我发现还是有一些细节没有讲明白，特别是采样层的残差计算，我会在这里详细讲述。　　输出层的残差　　和BP一样，CNN的

2016-08-30 12:02:01 11509

原创 CNN卷积神经网络--反向传播（3，Notes on Convolutional Neural Networks）

一、介绍这个文档讨论的是CNNs的推导和实现。CNN架构的连接比权值要多很多，这实际上就隐含着实现了某种形式的规则化。这种特别的网络假定了我们希望通过数据驱动的方式学习到一些滤波器，作为提取输入的特征的一种方法。本文中，我们先对训练全连接网络的经典BP算法做一个描述，然后推导2D CNN网络的卷积层和子采样层的BP权值更新方法。在推导过程中，我们

2016-08-30 12:00:23 6811

原创 CNN卷积神经网络--反向传播（2，前向传播）

看cnn，首先还是看看前向传播，在细谈反向求导。 CNN的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要针对时间序列数据，参考TDNN）上的扭曲有很强的鲁棒性。CNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积...这样卷积层提取出特征，再进行组合形成更抽象的特征，最后形成对图片对象的描述特征，CNN后面还可以跟全连接层，

2016-08-30 11:35:51 7597

原创 CNN卷积神经网络---反向传播（1，全链接bp算法）

全链接bp算法这里作为自己对卷积神经网络反向传播算法的理解。首先还是从经典的全链接bp算法开始。 1、前向传播所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：我们使用圆圈来表示神经网络的输入，标上“”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最

2016-08-30 11:26:37 17700

转载在 linux 下使用 CMake 构建应用程序

CMake 简介 CMake 是一个跨平台的自动化建构系统,它使用一个名为 CMakeLists.txt 的文件来描述构建过程,可以产生标准的构建文件,如 Unix 的 Makefile 或Windows Visual C++ 的 projects/workspaces 。文件 CMakeLists.txt 需要手工编写,也可以通过编写脚本进行半自动的生成。CMake 提供了比 autoconf

2016-08-26 14:23:03 858

转载 Linux makefile 教程非常详细，且易懂

最近在学习Linux下的C编程，买了一本叫《Linux环境下的C编程指南》读到makefile就越看越迷糊，可能是我的理解能不行。于是google到了以下这篇文章。通俗易懂。然后把它贴出来，方便学习。后记，看完发现这篇文章和《Linux环境下的C编程指南》的makefile一章所讲述的惊人的相似，只是这篇文章从一个实例切入，在有些地方比较好理解

2016-08-25 20:31:05 1695