pytorch入门基础(二)肺部感染识别案例-1
本实验用到的数据集链接:https://pan.baidu.com/s/1tsDeOz53lzTJwd-o1SBuCA
提取码:gp9w
在安装库的时候如何用清华源pip下载:
比如:pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple,在指令后面加上镜像网址即可。
数据集内容:
包含训练集,测试集,验证集,前面代表正常肺部图片,后面代表感染肺部图片。
一.实验流程
- 加载预训练模型ResNeT,该模型已经在ImageNet数据集上训练过。
- 冻结预训练模型中低层卷积层的参数(权重)。
- 用可训练参数的多层代替分类层。
- 在训练集上训练分类层。
- 微调超参数,根据需要冻结多层。
二.显示数据集中的图片
如何快速获取文件的地址:
只需要打开你的anaconda prompt,然后把你的文件拉到里面,复制地址即可
# 1 加载库
import torch
import torch.nn as nn
from torchvision import datasets, transforms
import os
from torch.utils.data import DataLoader
from torchvision.utils import make_grid
import matplotlib.pyplot as plt
import numpy as np
# 2 定义一个方法:显示图片
def image_show(inp, title=None):
plt.figure(figsize=(14, 3))
inp = inp.numpy().transpose((1,2,0))
mean = np.array([0.485, 0.456, 0.406])
std = np.array([0.229, 0.224, 0.225])
inp = std * inp + mean
inp = np.clip(inp, 0, 1)
plt.imshow(inp)
if title is not None:
plt.title(title)
plt.pause(0.001)
plt.show()
def main():
# 3 定义超参数
BATCH_SIZE = 8 # 每批处理的数据数量
DEVICE = torch.device('cpu')
# 4 图片转换
data_transforms = {
'train':
transforms.Compose([
transforms.Resize(300),
transforms.RandomResizedCrop(300),
transforms.RandomHorizontalFlip(),
transforms.CenterCrop(256),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406],
[0.229, 0.224, 0.225])
]),
'val':
transforms.Compose([
transforms.Resize(300),
transforms.CenterCrop(256),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406],
[0.229, 0.224, 0.225])
])
}
# 5 操作数据集
# 5.1 数据集路径
data_path = "E:\Tommy数据集\chest_xray"
# 5.2 加载数据集train 和 val
image_datasets = { x : datasets.ImageFolder(os.path.join(data_path, x),
data_transforms[x]) for x in ['train', 'val']}
# 5.3 为数据集创建一个迭代器,读取数据
datalaoders = {x : DataLoader(image_datasets[x], shuffle=True,
batch_size=BATCH_SIZE) for x in ['train', 'val']}
# 5.3 训练集和验证集的大小(图片的数量)
data_sizes = {x : len(image_datasets[x]) for x in ['train', 'val']}
# 5.4 获取标签的类别名称: NORMAL 正常 --- PNEUMONIA 感染
target_names = image_datasets['train'].classes
# 6 显示一个batch_size的图片(8张图片)
# 6.1 读取8张图片
datas, targets = next(iter(datalaoders['train']))
# 6.2 将若干张图片拼成一幅图像
out = make_grid(datas, nrow=4, padding=10)
# 6.3 显示图片
image_show(out, title=[target_names[x] for x in targets])
if __name__ == '__main__':
main()