常见的多类别分类模型

⒈顆糖果!

已于 2022-03-23 21:08:43 修改

阅读量9.1k

点赞数 1

文章标签：神经网络机器学习深度学习多分类

于 2022-03-23 21:06:34 首次发布

本文链接：https://blog.csdn.net/Tangguoseo/article/details/123691777

版权

今天给大家介绍两个多分类任务中的经典网络模型LeNet5和AlexNet。内容源来自“有三AI”，感兴趣的读者可以关注公众号“有三AI”。

首先要给大家普及以下网络深度和网络宽度的概念，强调一点，池化层是不算入网络深度的。

网络的深度：最长路径的卷积层+全连接层的数量，这是深度学习最重要的属性。

如图，以简单的LeNet5网络为例，网络中包含3个卷积层，2个全连接层，所以网络深度等于5。

C1+C3+C5+F6+OUTPUT

图1 LeNet5网络

网络的宽度：每一个网络层的通道数，以卷积网络层计算。LeNet5网络：C1(6)，C3(16)，

多类别图像分类的经典模型

一共7层，3个卷积层，2个池化层，3个全连接层，输入图像大小为32*32（灰度图——单通道）。

(1) C3层与S2层之间非密集的特征图连接关系：打破对称性，同时减少计算量，共60组卷积核。

图2 C3层特征图与S2层特征图之间的连接关系

(2) 全连接层的设计

倒数第2层维度不是常见的2的指数次幂的维度，而是84，为什么？

计算机中字符的编码是ASCII编码，这些图是用7*12大小的位图表示，84可以用于对每一个像素点的值进行估计。

图3 AlexNet模型结构

一共8层，5个卷积层，3个全连接层，输入图像：224*224*3

多GPU训练：尽量使用更多特征图，并减少计算量。除了将模型的神经元进行了并行，还使得通信被限制在了某些网络层。第三层卷积要使用第二层所有的特征图，但是第四层却只需要同一块GPU中的第三次的特征图。
ReLU激活函数：加快模型收敛。
LRN归一化：抑制反馈较小的神经元，放大反馈较大的神经元，增强模型泛化能力
Dropout正则化：防止过拟合，提高泛化能力。
重叠池化：更有利于减轻过拟合。
数据增强：提高模型泛化能力。
测试时增强：指的是在推理（预测）阶段，将原始图片进行水平翻转、垂直翻转等数据增强操作，得到多张图分别进行推理，再对结果融合。

不同类别下的样本数目相差过大，从而导致分类模型的性能变差。

解决方案：

1. 对于类别数目较少的类别，从中随机选择一些图片进行复制并添加至该类别包含的图像内，知道这个类别的图片数目和最大数目类的个数相等为止。

2. 插值方法：

第一步：定义好特征空间，将每个样本对应到特征空间中的某一点，根据样本不平衡比例确定好一个采样倍率N；
第二步：对每一个少样本类样本 $(x,y)$ ，按欧氏距离找出k个最近邻样本，从中随机选取一个样本点，假设选择的近邻点为 $(x_{n},y_{n})$ 。在特征空间中样本点与最近邻样本点的连线段上随机选取一点作为新的样本点，满足以下公式：