Disout：特征图扭曲正则化深度神经网络实践指南

Disout：特征图扭曲正则化深度神经网络实践指南

Disout 项目地址: https://gitcode.com/gh_mirrors/di/Disout

一、项目目录结构及介绍

华为 Noah 研究院发布的 Disout 是一个用于解决深度学习过拟合问题的开源工具包，基于其在AAAI 2020发表的论文《超越Dropout：用于正则化的特征图扭曲（Feature Map Distortion to Regularize Deep Neural Networks）》。以下是项目的目录结构及其简介：

• disout.py: 核心模块，实现了Disout方法，可以插入到深度神经网络中以增强泛化能力。

• train.py: 用于CIFAR-10数据集训练ResNet-56的脚本，展示了如何应用Disout进行模型训练。

• train_imagenet.py: 针对ImageNet数据集训练ResNet-50的示例脚本，适用于大型图像分类任务。

• models: 包含了模型定义或者修改后的模型，以适配Disout机制。

• utils.py: 辅助函数集合，可能包括数据预处理、性能度量等。

• LICENSE.txt: 许可证文件，指明项目遵循BSD-3-Clause协议。

• readme.md: 项目的主要说明文档，包含了安装、使用、贡献指导等信息。

• THIRD_PARTY_OPEN_SOURCE_SOFTWARE_NOTICE.txt: 关于项目中使用的第三方开源软件的通知。

二、项目的启动文件介绍

train.py

该文件是用于CIFAR-10数据集上训练模型的脚本。它允许用户通过命令行参数配置Disout的关键超参数，如--dist_prob(元素被扭曲的概率)，--alpha(扭曲强度)，以及--block_size(被扭曲区域的大小)。运行此脚本前需确保已经正确设置了PyTorch环境并准备好了CIFAR-10数据集。

train_imagenet.py

专门设计用于在更大的图像识别数据集—ImageNet上训练模型。同样支持配置Disout的参数，使得该脚本适应于更复杂的训练设置和大型网络。

三、项目的配置文件介绍

本项目并未明确提供单独的配置文件形式，而是将配置项主要作为命令行参数。因此，配置是动态的，并且在运行脚本时通过命令行指定。例如，您可以通过以下命令行来调整和控制Disout的行为，针对CIFAR-10：

python train.py --dist_prob 0.09 --alpha 5.0 --block_size 6

对于特定需求，比如调整至不同的数据集或调整算法参数，用户应直接修改上述命令中的参数值。

总结而言，Disout项目通过直接在脚本中指定参数的方式来进行配置，无需传统意义上的独立配置文件。这种设计使得设置和实验更加灵活，但同时也要求用户在每次训练前明确指定所有必要的训练和模型配置参数。

Disout 项目地址: https://gitcode.com/gh_mirrors/di/Disout