BigBang的博客

一，神经网络的实用层面1.1 训练/开发/测试集超参数是与深度神经网络结构相关但我们事先无法确定的经验参数，包括层数，神经元数目，学习效率等，超参数的选择决定我们模型的性能，因此我们希望通过实验来确定这些参数，深度学习是一个高度迭代的过程。通常将数据集划分为三个部分，即训练集，验证集及测试集。通过训练集进行模型的训练，通过验证集或简单交叉验证集选择最好的模型，最

本教程用于从文件夹中读取训练数据（图片）并转换为caffe需要的mdb格式,随后将其用于后续的训练和测试。一、原始数据这里选用徐其华（denny402）收集的数据，共有500张图片，分为大巴车、恐龙、大象、鲜花和马五个类，每个类100张。网盘地址为-网盘地址。编号分别以3，4，5，6，7开头，各为一类。我从其中每类选出20张作为测试，其余80张作为训练。因此最终训练图片400张，测试图片1

本文为吴恩达老师deeplearning系列课程中卷积神经网络中的编程作业部分，以上代码均由本人编写，仅供参考！

基于深度学习开源框架keras构建简单的卷积神经网络，对happy house图片数据进行识别（房门前安装的摄像头所拍摄的人物面部表情），我仿照LeNet-5的结构设计了自己的网络模型，并省略掉了Batch归一化，最终的训练准确率和预测准确率分别达到99%和95%。

基于Numpy实现的卷积神经网络，里面包括正向传播各个细节的实现以及反向传播梯度项的求取，对于想深入了解卷积神经网络原理的童鞋可以细细推导下。

基于深度学习开源框架tensorflow实现的卷积神经网络，主要介绍基本的卷积操作，池化操作以及后续的优化。

一、前言通过前面的学习我们了解到神经网络的优化和改变会涉及到许多不同的超参数，例如：与神经网络结构相关的层数、每层节点数，与优化算法相关的学习效率以及Momentum、RMSprop、Adam中的指数权重项，学习效率衰减中的衰减系数，Mini-batch中的batch size等等。另外，这些所列举的超参数重要级别却是不一样的，学习效率一般是需要。那么对于超参数而言，我们要如何找到一套好的设定

一、

一、Logistic Regression 基本网络结构可以看到 Logistic Regression的网络结构相对比较简单，主要包括：输入层（用于单样本数据x1,x2,x3...的输入）和输出层（单个神经元），输入层和输出层之间是有权重连接的，这里相当于对输入数据做一个线性变换进而得到输出层的输入。值得注意的是，输出层是包含激活函数的，对于Logistic Regressi

深度神经网络的编程实现，主要基于吴恩达老师的Deeplearning Course完成，编程语言为python。

一、Mini-batchti前面介绍的向量化方法能够让我们高效的处理m个样本数据，模型输入的也就是m个样本按列堆叠而成的矩阵X，同样地，输入数据的标签也是m个样本标签按列堆叠而成的矩阵Y。但是以全部海量数据作为输入的话，这样做的计算成本依然会很高。

一，安装前环境1.操作系统为：Ubuntu14.04 64bit2.处理器为：CPU二，安装依赖的库其中protobuf是用来定义layers的，leveldb是训练时存储图片数据的数据库，opencv是图像处理库，boost是通用C++库。sudo apt-get install libprotobuf-dev libleveldb-dev libsnap