MachineLearning学习——0220——深度学习之卷积神经网络、自编码器

参考：https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/22.md

https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/23.md

由于之前有了解CNN，该文章将跳过大部分细节，仅供本人记录学习过程用

卷积神经网络Convolutional Neural Network

介绍：与多层感知机的结构很相似：输入层，一些隐藏层，输出层，这些层多由卷积层、池化层、全连接层组成，层后面也会伴随激活函数、正则化处理。但有两个明显不同。1、节点间不一定是全连接的；2、输入的特征通常是多维图像和其他对象。

 

下面介绍组成cnn的各种层：

卷积层：

(channel, high, width, stride,padding)

池化层:分为最大池化、平均池化

(high, width, stride, padding)

全连接层：

只有长度lenth

 全连接层用于在 CNN 中进行最终分类。在移到第一个完全连接的层之前，我们必须将输入值展平为该层可以解释的一维向量。

最后要几类，最后一层全连接层就几个节点。

 

训练：

训练 CNN 与训练普通神经网络几乎完全相同。 由于卷积层的存在，增加了一些复杂性，但是训练策略保持不变。 诸如梯度下降或反向传播之类的技术可用于训练网络中的滤波器值和其他参数。 与我们涵盖的所有其他训练一样，拥有大量训练将提高 CNN 的表现。

就是很吃gpu，很多参数可以调整。网络结构（残差、attention、dense、层数）、激活函数类型、学习率、batch_size、卷积核大小、步长、池化方法 、数据预处理等等等等。

 

但是实际的反向传播没有自己实现过，有时间真的可以自己试试

 自编码器

介绍：自编码器可以模仿输入，并在输出处生成确切的信息。

结构：两部分，编码器和解码器，编码器将输入转换为隐藏空间，解码器将输入信息重建为输出

类型：

• 不完整的自编码器：隐藏的尺寸小于输入的尺寸。优点是可捕获最突出的特征，即降维。缺点是需要大量数据，否则会过拟合。
• 正则化自编码器：不限制尺寸和隐藏层大小，有损失函数
• 稀疏自编码器：允许表示信息瓶颈，无需减小隐藏层的大小。取而代之的是基于损失函数对层内的激活进行惩罚。
• 去噪自编码器：学习通用的encode和decode。它灵敏到能重新生成原始输入，但不过拟合。方法是将未损坏数据和特定噪声一起作为输入。
• 压缩自编码器：如果输入相似，那么该编码器的输出也相似。方法是强制重建特征抵抗特征的微小变化，而收缩式自编码器抵抗输入扰动。
• 变分自编码器：为每个隐藏特征生成一个概率分布。

至此，该教材完毕。总得来说教程做到了通俗易懂，但是放弃了很多数学细节和底层实现，适合入门和复习。