Knowledge distillation 代码实现（简易版）

最新推荐文章于 2024-07-01 00:53:03 发布

龙兰丶

最新推荐文章于 2024-07-01 00:53:03 发布

阅读量383

点赞数

文章标签： pytorch 深度学习 python

本文链接：https://blog.csdn.net/weixin_44125346/article/details/120306395

版权

Knowledge distillation 代码实现（简易版）

定义ResNet（教师模型）

下载CIFAR10数据集并预处理

# 设置训练集图片预处理
transform_train = transforms.Compose([
    # 随机裁剪成32x32并做padding=4的填充
    transforms.RandomCrop(32, padding=4),
    # 以给定概率水平翻转图片，默认概率为0.5
    transforms.RandomHorizontalFlip(),
    # 转换成tensor类型
    transforms.ToTensor(),
    # 归一化
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])

# 设置测试集图片预处理
transform_test = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])

# 下载训练集并进行预处理
train_set = torchvision.datasets.CIFAR10(root='../data'