深度学习系列（九）：详解工具箱参数及网络一种改进方式-dropout

本片主要介绍一种对于网络参数的改进方式，这也是大牛Hinton在前两年对深度网络的一个工作，主要的方法就是dropout，思想就是在训练网络的时候随机扔掉一些网络权值进行训练，其方法在前面的

DeepLearnToolbox

工具箱中也有集成，通过在这个工具箱中设置dropout参数可以直接实现网络中加入dropout的算法思想，本文旨在研究该工具箱时涉及到了dropout这块然后希望弄明白这块。

关于dropout，工具箱中给出的参考文献为：http://www.cs.toronto.edu/~hinton/absps/dropout.pdf

源文章来源于:Improving neural networks by preventing co-adaptation of feature detectors

另外一个也是Hinton讲该方法的应用的：
Dropout: A Simple Way to Prevent Neural Networks from Overtting

这个网络改进方法实质上就是为了防止网络参数的过拟合，尤其是小样本训练的时候是机器容易过拟合的。
关于dropout，网上大神tornadomeet已经写的很详细了，并且附带一些这个工具箱下的实验，非常棒的，可以直接去看：(Dropout简单理解)

这里再简单分享一下我看的Dropout: A Simple Way to Prevent Neural Networks from Overtting 这篇文献下的一些笔记：

文章的摘要简单翻如下：
深度神经网络是一个拥有众多参数的强大的机器学习系统。然而对于这种的网络来说过拟合是一个非常严重的问题。大型网络使用起来也很慢，从而在测试时面对如此大的网络是很难克服过拟合问题的。丢失数据技术(dropout)能够解决这个问题。这种方法的关键步骤在于训练时随机丢失网络的单元包括与之连接网络权值。在训练的时候，丢失网络单元的方法也可以是的网络变得更为稀薄紧凑。在测试阶段，也可以使用这种稀薄的网络更容易的预测网络的输出。这种方式有效的减少了网络的过拟合问题，并且比其他的规则化的方法有了明显的提升。同时我们也展示了这种丢失数据的方法用于监督学习实例上，比如视觉处理、语音识别、文本分类和计算机生物学上对应用，在大多数数据集上该方法都表现出目前最优的效果。

一个典型的dropout小结构就如下面这样子：

这就是一般正规的网络与随机dropout网络，其实那些没有连接上的单元也有连接，不过其上面的权值为0而已，这样表现出来就是相当于丢掉了一些单元了。至于丢掉的是那些单元呢？这个就是随机的了，丢掉的比例也是可以设置的。

其实说白了dropout就这么点东西，训练的时候随机丢掉一些权值，这样为什么可以防止过拟合呢？很自然，选择的单元少了，那么就没有那么苛刻的要求，自然训练起来的自由度大，也就是不太容易过拟合了。

上述文章后面是对DBN网络的dropout一些数学上的表述等等，然后是实验结果证明了这种方法的可靠性与防止过拟合性，并且确实能够带来性能一定程度的提升。

下面看看DeepLearnToolbox这个工具箱中关于dropout部分说明。
这里先拿第五节

深度学习系列（五）：一个简单深度学习工具箱

中的nnsetup来说，这是网络的初始化函数，该工具箱的所有的网络都是需要先通过这个函数建立：

function nn = nnsetup(architecture)
%NNSETUP创建前向反馈神经网络
% nn = nnsetup(architecture) 返回一个神经网络结构，architecture为结构参数
% architecture 是一个n x 1 向量，表示每一层神经元的个数
%比如architecture=[784 100 10]，表示输入层为784维输入，100个隐含层，10个输出层
%为什么是输入为784：因为每一个手写体大小为28*28的，也就是784维度
%隐含层为什么是100：随便设置的，可以随意修改，需要设计
%输出为什么是10：手写体有0-9这10种结果，所以为10

    nn.size   = architecture;