卷积神经网络

全连接层         

多层感知机十分适合处理表格数据，行对应样本，列对应特征

通过将图像数据展平成一维向量而忽略了每张图像的空间结构信息。

使用卷积神经网络可大大降低参数量：共享参数机制、多种池化方法

将数据转化为一维  忽略了 空间性

卷积核                

卷积层将输入和卷积核进行交叉相关，加上偏移后得到输出

核矩阵和偏移是可学习的参数

核矩阵的大小是超参数

填充和步幅可以改变输出的高度和宽度

填充在输入周围添加额外的行/列，增加输出的高度和宽度

步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状

填充和步幅可用于有效地调整数据的维度

多个输入和输出通道

彩色图像可能有 RGB 三个通道 转换为灰度会丢失信息

每个通道都有一个卷积核，结果是所有通道卷积结果的和

 LeNet 架构

总体来看，LeNet（LeNet-5）由两个部分组成：

• 卷积编码器：由两个卷积层组成；

• 全连接层密集块：由三个全连接层组成；

每个卷积层使⽤5×5卷积核和一个sigmoid激活函数。

学习表征

浅层学习：不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取

表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习

视觉分层理论

从底层到高层的不断抽象

浅层卷积核提取：边缘、颜色、斑块等底层像素特征。

中层卷积核提取：条纹、纹路、形状等中层纹理特征。

高层卷积核提取：眼睛、轮胎、文字等高层语义特征。

AlexNet架构

• AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。

• 今天，AlexNet已经被更有效的架构所超越，但它是从浅层⽹络到深层网络的关键一步。

• 新加入了Dropout、ReLU、最大池化层和数据增强

VGG架构

发展