SLaK 开源项目教程

SLaK 开源项目教程

SLaK[ICLR 2023] "More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity"; [ICML 2023] "Are Large Kernels Better Teachers than Transformers for ConvNets?"项目地址:https://gitcode.com/gh_mirrors/sl/SLaK

项目介绍

SLaK（Sparse Large Kernel Network）是一个基于PyTorch的开源项目，旨在通过稀疏化技术扩展卷积核的大小，超越传统的51x51限制。SLaK项目由VITA-Group开发，主要贡献包括：

1. 稀疏大核网络：首次实现了纯卷积网络模型，能够使用大于51x51的卷积核。
2. 大核蒸馏：提出了一种新的蒸馏方法，通过大核到小核的蒸馏技术，提高了模型的性能。

SLaK项目在ICLR 2023和ICML 2023上发表了相关论文，展示了其在图像分类和其他计算机视觉任务中的有效性。

项目快速启动

环境设置

首先，确保你的环境中安装了必要的依赖：

conda create -n slak python=3.8 -y
conda activate slak
conda install pytorch>=1.10.0 torchvision torchaudio cudatoolkit=11.3 -c pytorch

克隆项目

克隆SLaK项目到本地：

git clone https://github.com/VITA-Group/SLaK.git
cd SLaK

训练模型

以下是一个简单的训练命令示例：

python main.py --model SLaK_tiny --data_path /path/to/imagenet-1k --output_dir /path/to/save_results

应用案例和最佳实践

图像分类

SLaK在ImageNet-1K数据集上展示了优异的性能。以下是一个评估命令示例：

python main.py --model SLaK_tiny --eval true --data_path /path/to/imagenet-1k

语义分割

SLaK也可以用于语义分割任务。以下是一个评估SLaK-tiny + UperNet在ADE20K数据集上的示例：

python -m torch.distributed.launch --nproc_per_node=4 tools/test.py configs/SLaK/upernet_slak_tiny_512_80k_ade20k_ss.py --launcher pytorch --eval mIoU

典型生态项目

MMDetection

MMDetection是一个开源的目标检测和实例分割框架，SLaK可以与其集成，提供更强大的特征提取能力。

MMSegmentation

MMSegmentation是一个开源的语义分割框架，SLaK可以与其集成，提升分割任务的性能。

通过以上步骤，你可以快速启动并应用SLaK项目，结合MMDetection和MMSegmentation等生态项目，实现更复杂的计算机视觉任务。

SLaK[ICLR 2023] "More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity"; [ICML 2023] "Are Large Kernels Better Teachers than Transformers for ConvNets?"项目地址:https://gitcode.com/gh_mirrors/sl/SLaK