实验设计与分析 (总结8)

最新推荐文章于 2024-08-26 07:33:09 发布

芯光智能

最新推荐文章于 2024-08-26 07:33:09 发布

阅读量2.7k

点赞数 1

文章标签：深度学习

本文链接：https://blog.csdn.net/wzhrsh/article/details/90292655

版权

本文探讨了深度学习中网络裁剪技术，包括实验设计、模型与数据集、不同裁剪策略的性能评估。研究了全局裁剪与等比例、逐层裁剪的比较，并展示了在CIFAR-10和迁移学习（VGG-16在猫狗识别任务）上的应用。结果表明，数据相关的裁剪方法在迁移学习中更具优势，而全局裁剪方法在效率和性能上胜过等比例裁剪。

摘要由CSDN通过智能技术生成

1.1 实验设计

我们将设计一系列实验来验证渐次全局裁剪框架的运算效率和有效性。首先,我们将要验证在不同应用场景下,不同神经元筛选策略的性能差别。在通常的应用场景中,我们训练了一个用于CIFAR-10图片分类的栈式神经网络。在迁移学习的场景下,我们使用VGG-16在ImageNet上的预训练权重作为迁移学习的模型,以Kaggle数据竞赛猫狗大战为学习目标。
其次,我们在栈式神经网络上比较了所提出的渐次裁剪框架与全局等比例裁剪的性能。我们以模型在验证集上的准确率作为模型性能的衡量指标。最后,我们选取一种冗余神经元筛选方法,在给定性能指标的情况下进行自动化裁剪,展示了渐次全局裁剪框架具有能够自动发现网络在给定性能指标下的近似最优结构的能力,并通过参数量与运算速度的比较检查网络裁剪的实际效果。

https://www.kaggle.com/c/dogs-vs-cats

1.2 网络模型与数据集

我们训练了一个栈式网络用于CIFAR-10图片分类。CIFAR-10是深度学习领域经常使用的基准数据集,由50000张10个类别的小图片和10000张各个类别的验证集构成,每张图片均为32x32的彩色图片。CIFAR-10数据集的类别和部分图片展示如图5-1。我们搭建了一个栈式卷积神经网络进行CIFAR-10图片分类训练,所使用的网络结构与前面介绍的VGG-16网络类似,但在每个卷积层和全连接层后都增加了BN层。同时,相对于VGG-16网络,我们在卷积层后仅设置了两个全连接层,且首个全连接层的隐层神经元由原来的2048降为512。由于使用了BN层加速收敛,我们没有使用Dropout。我们记该模型为模型1。经过200轮训练,我们在CIFAR-10验证集上取得87.32%的正确率。在迁移学习应用场景下, 我们以VGG-16的预训练权重为蓝本,在Kaggle猫狗识别问题上进行迁移学习。