【计算机科学】【2017.08】卷积神经网络结构的分析与优化

在这里插入图片描述
本文为德国卡尔斯鲁厄理工学院（作者：Martin Thoma）的硕士论文，共134页。

卷积神经网络（CNN）在各种计算机视觉任务中占据主导地位，因为Alex Krizhevsky证明了它们可以有效地训练，并将ImageNet大规模视觉识别挑战中的前5项错误率从26.2%降低到15.3%。CNN的许多方面都在各种出版物中进行了研究，但是有关神经网络结构的分析和构建的文献却很少。本项工作是缩小这一差距的一步。本文对现有的CNN分析和拓扑结构构建技术进行了全面的综述，提出了一种新的混淆矩阵分类误差可视化方法。在此基础上，对分级分类器进行了描述和评价；此外，对CIFAR-100的一些结果进行了确认和量化。例如，小批量、平均集成、数据扩充和测试时间转换对精确度的积极影响。其他的结果，如学习的颜色转换对测试精度的积极影响无法得到证实。本文开发了一个输入大小为32×32×3、100个类别、学习参数只有100万个的模型，它在基准数据集Asirra、GTSRB、HASYv2和STL-10上的性能优于目前最新的技术。

Convolutional Neural Networks (CNNs) dominatevarious computer vision tasks since Alex Krizhevsky showed that they can betrained effectively and reduced the top-5 error from 26.2 % to 15.3 % on theImageNet large scale visual recognition challenge. Many aspects of CNNs areexamined in various publications, but literature about the analysis andconstruction of neural network architectures is rare. This work is one step toclose this gap. A comprehensive overview over existing techniques for CNNanalysis and topology construction is provided. A novel way to visualizeclassification errors with confusion matrices was developed. Based on thismethod, hierarchical classifiers are described and evaluated. Additionally,some results are confirmed and quantified for CIFAR-100. For example, the positiveimpact of smaller batch sizes, averaging ensembles, data augmentation andtest-time transformations on the accuracy. Other results, such as the positiveimpact of learned color transformation on the test accuracy could not beconfirmed. A model which has only one million learned parameters for an inputsize of 32 × 32 × 3 and 100 classes and which beats the state of the art on thebenchmark dataset Asirra, GTSRB, HASYv2 and STL-10 was developed.

1 引言
2 卷积神经网络
2.1 线性图像滤波器
2.2 CNN层的类型
2.3 CNN模块
2.4 过渡层
2.5 分析技术
2.6 提高精度的技术
3 拓扑学习
3.1 生长法
3.2 修剪法
3.3 遗传法
3.4 强化学习
3.5 卷积神经构造
4 层次分类
4.1 层次分类的优点
4.2 聚类类别
5 实验评估
5.1 基准模型和训练设置
5.2 混淆矩阵排序
5.3 谱聚类与CMO
5.4 分类器层次
5.5 增加宽度以加快学习速度
5.6 权值更新
5.7 多个窄层 vs 一个宽层
5.8 批处理归一化
5.9 批处理大小
5.10 偏置
5.11 颜色空间转换的学习
5.12 池化
5.13 激活函数
5.14 标注平滑
5.15 最优化分类器
5.16 早停法 vs 更多数据
5.17 正则化
6 结论与未来工作展望
附录A 图片、表格与算法
附录B 超参数
附录C 网络特性参数计算
附录D 普通结构
附录E 数据集