《安检违禁品图像生成与评价网络模型研究》阅读笔记

一、绪论

1.存在的问题

1.GAN模型为无法较好地学习小样本数据集中的全局图像特征，导致模型无法稳定地训练，生成违禁品图像质量较差
2.公开的安检数据集中具有违禁品的安检 X 光图像无论是从数量上还是违禁品种类和姿态的多样性上都无法满足深度学习网络的训练需求
3.现实中有些违禁物品比如不同类型的枪支、刀具等很难获取，导致这些违禁品的安检 X 光图像很难采集到，以至于违禁品图像的形状多样性较差

2.研究内容

1. 构建数据集，包括尺寸统一的X光违禁品图像数据集和行李安检X光图像数据集
2. 改进GAN 的模型结构，包括网络结构和损失函数
3. 实验验证改进的GAN模型性能有所提高
4. 生成大量不同类型的X光违禁品图像和行李安检X光图像，增加图像的外形多样性和姿态多样性
5. 建立生成图像评价模型

二、安检图像数据集构建与预处理

1. 图像采集（实验室X光机）

图像内容	种类	数量
单目标违禁品	12	4887
多目标重叠违禁品	8	1659
带有违禁品的安检 X 光图像	7	4500
不带有违禁品的安检 X 光图像	1	1910

2.安检X光图像预处理

1.安检 X 光违禁品图像的预处理：
图像的裁剪→图像的补正→图像的尺寸统一→目标违禁品图像的前景提取

2.安检 X 光图像数据集：
图像的补正→图像的尺寸统一

3.安检X光图像数据集

1.X光违禁品图像数据集
特点:

1. 规模小，GAN无法直接训练 （生成模型需要能够较好学习小样本数据集）
   2）安检 X 光图像的颜色提供了有用的信息，不同的颜色代表不同材料的 X光扫描成像 （考虑是否利用该点完成目标前景提取）
   3）同一违禁品不同姿态的 X 光成像，可以通过图像的轮廓和纹理（全局特征）来确定。

2.行李安检 X 光图像数据集

三、基于 GAN 的 X 光违禁品图像生成方法

1.生成模型及改进：

1.模型选择：SAGAN 模型在 GAN 模型中引入了自注意力机制，生成网络和鉴别网络对全局特征的建模能力较高，适用于当前情况。但X 光违禁品图像数据集规模较小，使得 SAGAN 模型在生成 X 光违禁品图像方面表现不佳，主要表现在外形轮廓扭曲，视觉效果差。

2.模型改进：
1）用卷积神经网络和反卷积神经网络作为 GAN 模型的鉴别网络和生成网络
2）去除网络中的池化层（Pooling）
3）对判别网络和生成网络都进行加深
4）在两个网络中分别加入了自注意力机制模块（计算图像的远距离相关性，使模型可以有效对X光违禁品图像的远距离相关特征进行建模）
5）生成网络包括 7 个反卷积网络层和 1 个全连接网络层