浅析深度学习与卷积

1  深度学习平台介绍

深度学习一般是指通过训练多层网络结构对未知数据进行分类或回归，它的分类包括以下两部分，分别为有监督学习方法，即深度前馈网络、卷积神经网络、循环神经网络等 ；以及无监督学习方法，即深度信念网、深度玻尔兹曼机，深度自编码器等。

深度学习是具备一定思想的，它可以通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。

深度学习的应用十分广泛，可以应用于图像处理、语音识别、自然语言处理以及综合应用。图像领域主要包含：图像分类(物体识别)、物体检测、图像分割以及图像回归。语音识别主要包含语音识别、声纹识别以及语音合成。自然语言以及综合应用也包含方方面面。

综合上述分析，可以将深度学习平台归纳为如下所示的框图。

 而PYTRCH则是Python的一个深度学习库，它最初由Facebook人工智能研究小组开发，而优步的Pyro软件则用于概率编程。最初，PyTorch由Hugh Perkins开发，作为基于Torch框架的LusJIT的Python包装器。PyTorch在Python中重新设计和实现Torch，同时为后端代码共享相同的核心C库。
除了Facebook之外，Twitter、GMU和Salesforce等机构都采用了PyTorch。到目前，据统计已有80%的研究采用PyTorch，包括Google。

以下为PyTorch和TensorFlow2的对比模型。

 2  卷积神经网络基础

卷积神经网络取得的第一个进步是AlexNet网络，它是在2012年提出的。这里有一些关键的改进：它提出了ReLu，也就是有助于防止消失的梯度问题；它也引入了dropout的概念，使得每层中神经元随机地打开和关闭，防止过拟合。如果你的数据过于相似，它不能够对相似但不同的图像进行分类，因为它过拟合了你的训练数据。

在这之后，就是VGG Net。其中最大的变化是，添加了更多的层。接下来是ResNet，这是在resin之后的创意。并且改进梯度传播，从而使得反向传播更加容易。进一步解决了梯度消失的问题这之后是DenseNet。DenseNet 提出将网络中每一层的所有块与其他层连接起来。这是一种更复杂的连接策略。网络被设计的越来越深。还有一些计算技巧正在被添加到这些卷积网络上，比如ReLu或dropout或批量标准化（Batch Normalization），从而提升了性能。另外，我们还在网络层之间使用越来越多的连接，但是Hinton说卷积神经网络存在问题。

综合上述分析，卷积神经网络的进化史如下所示。

 卷积神经网络的基本概念可以概括为，全连接网络，链接权过多，难算难收敛，同时可能进入局部极小值，也容易产生过拟合问题。因此进行填充操。也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。如下图所示。

 多通道卷积则具备一下图示所示的性质。