深度学习中的样本采样

深度学习是利用一个流形分布上的部分样本（训练样本）训练网络，使网络可以学到流形分布的过程。

训练样本的采集好坏对网络的学习效果影响很大。

我们在整个流形分布上均匀采样获得训练样本，从而可以使网络较好的学习到流形的整体分布。

一般来说，从流形上采样越均匀越好，采样量越大越好。

除此之外，如果我们对流形有一些先验信息的话，通过在流形的高频区域（或细节区域）增加额外采样量，可以使网络有更好的学习效果，学习到的流形分布更准确。

---

下面是一个示例：

函数表达式：

                 

函数曲面与等高线图：

                     

（1）从函数曲面上均匀采样150个样本点，用以训练一个全连接网络，迭代15000次，学习到的函数曲面和等高线图如下

                    

（2）从函数曲面上均匀采样200个样本点，用以训练一个全连接网络，迭代15000次，学习到的函数曲面和等高线图如下.似乎改善并不是很大。

                      

   （3）从函数曲面上采样200个样本点，其中100样本点是均匀采样，另100样本点是在特定区域采样（在流形的峰值区采样），用以训练一个全连接网络，迭代15000次，学习到的函数曲面和等高线图如下.可见，网络的学习效果得到了很大提升。

                                

综上：利用流形分布的先验知识，在流形细节处增加采样数量进入训练集，有助于网络更好的学习流形的分布，学习到的流形分布更准确。

这与我们目前了解的神经网络的性质相符：如果我们想要增强网络对某一类目标的识别能力，那就多增加这一类目标的样本放到训练集中。