0 简介
今天学长向大家介绍一个机器视觉的毕设项目，基于深度学习的人脸识别系统
项目运行效果：
毕业设计 糖尿病视网膜预测
项目获取：
https://gitee.com/sinonfin/algorithm-sharing
1 任务目标
这次任务的数据集是1000的糖网的4个等级的眼底图像，我们需要利用深度学习框架pytorch 来根据眼底图像预测其分类。
2 数据处理
1.数据分析
通过对数据统计可以得到（已经划分的训练集）：
图片种类的分布是有一点不均匀的，同时图片数量也有一点少，所以我们先简单的对图片数据进行一下扩充，这里我们使用最简单的图片反转作为数据增强的方式。我们对一类的图片进行的左右翻转和上下翻转，扩充为原来的三倍。对二类和三类的图片我们做了上下翻转，扩充到原来的二倍。对零类图片不做任何处理。
这是处理后的训练集分布。
我是7：3分割的训练集和验证集
2.模型训练
2.1模型准备
使用的模型是torchvision.model里的经典模型和预训练好的参数。
from torchvision import models as models
# inception_v3,ResNet50
model = models.resnet50(pretrained=True)
#将pretrained置为true，意思是使用已经预训练好的参数。
model.fc#打印模型全连接层的输入和输出参数
#Linear(in_features=2048, out_features=1000, bias=True)
因为我们是四分类所以调整模型输出为：
model.fc = torch.nn.Linear(in_features=2048, out_features=4, bias=True)
model.aux_logits = False #这个设置是InceptionV3这个模型需要设置的，
#不知道什么意思，但不设置会报错。
2.2参数设置
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device=device)
learning_rate = 1e-4
num_epochs = 10
batch_size = 32
optimizer = torch.optim.Adam(model.parameters(), lr = learning_rate)
loss_criterion = torch.nn.CrossEntropyLoss()
2.3读取数据并转换为tensor类型
这一部分我是定义了一个类mydataset继承父类Dataset来获取可迭代的数据对象，同时对图片的处理和transform转换也在这里面实现。这里就不多说，对dataset不懂得可以看我之前写的dataset类。直接贴代码。
my_transform = transforms.Compose([
transforms.Resize((299,299)),
transforms.ToTensor(),
# transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
#这里进行transform是因为inception_v3模型的输入是(299*299)
#resnet就不需要是（299*299）了
class retinaDataset(Dataset):
def __init__(self, imagepath=r"D:\course\junior_2\deep_learning\third\train", csv_path=" ",transform=my_transform):
self.df = pd.read_csv(csv_path)
# if (total is not None):
# self.df = self.df[:total]
self.transform = transform
self.imagepath = imagepath
def __len__(self):
return len(self.df)
def __getitem__(self, index):
img_path = os.path.join(self.imagepath, self.df.iloc[index].image +".png")
img = Image.open(img_path)
if(self.transform):
img = self.transform(img)
return img, torch.tensor(self.df.iloc[index].Retinopathy_grade)
train_dataset = retinaDataset(csv_path=r"D:\course\junior_2\deep_learning\mythird\train.csv")
train_dataloader = DataLoader(dataset=train_dataset,
batch_size=batch_size, shuffle=True)
#这里调用Dataloder函数对数据进行分组并打乱顺序。
2.4开始训练
for epoch in range(num_epochs):
for data, target in tqdm(train_dataloader):
data = data.to(device=device)
target = target.to(device=device)
score = model(data)
optimizer.zero_grad()
loss = loss_criterion(score, target)
loss.backward()
optimizer.step()
print(f"for epoch {epoch}, loss : {loss}")
2.5测试模型准确率
def f_check_accuracy(model_i,model_r, loader):
model_i.eval() #模型inception_v3
model_r.eval() #模型resnet50
num0=0
num1=0
num2=0
num3=0
total0=0
total1=0
total2=0
total3=0
correct_output = 0
total_output = 0
with torch.no_grad(): #反向传播时不再自动求导，节省显存。
for x, y in tqdm(loader):
x = x.to(device=device)
y = y.to(device=device)
score_i = model_i(x)
score_r = model_r(x)
_,predictions_i = score_i.max(1)
_,predictions_r = score_r.max(1)
for i in range (len(y)):
if(y[i]==0):
total0=total0+1
if(predictions_i[i]==0):
num0=num0+1
elif(y[i]==1):
total1=total1+1
if(predictions_r[i]==1):
num1=num1+1
elif(y[i]==2):
total2=total2+1
if(predictions_r[i]==2):
num2=num2+1
elif(y[i]==3):
total3=total3+1
if(predictions_i[i]==3):
num3=num3+1
correct_output =num0+num1+num2+num3
total_output =total0+total1+total2+total3
# model.train()
print("0类准确率",num0/total0,"correct:",num0,"total:",total0)
print("1类准确率",num1/total1,"correct:",num1,"total:",total1)
print("2类准确率",num2/total2,"correct:",num2,"total:",total2)
print("3类准确率",num3/total3,"correct:",num3,"total:",total3)
print(f"out of {total_output} , total correct: {correct_output} with an accuracy of {float(correct_output/total_output)*100}")
解释一下我为什么要把inception_v3和resnet50结合到一起。
我们可以看到v3和resnet50再不同种类的准确率不同。所以可以把这两个模型结合在一起来提高准确率。
可以看到准确率提升的效果很好，大约20个点左右。
我们还可以从kaggle中下载一些数据来补充训练集，因为1000图片在划分之后对于四分类的任务来说是不够的。
3 数据分析
数据集描述
1.
下载地址messidor_features.arff
2. 数据集开头有一些描述信息，训练是用不到的，我选择删掉，方便用pd.read_csv()函数读取。
当然不删也是可以的，有专门的函数读取.arff文件
from scipy.io import arff
import pandas as pd
df = arff.loadarff('messidor_features.arff') #读取出来是一个元组
dataframe = pd.DataFrame(df[0])
3.数据集messidor_features.arff包含从 Messidor
图像集中提取的特征，用于预测图像是否包含糖尿病视网膜病变的迹象。所有特征都代表检测到的病变、解剖部位的描述特征或图像级描述符。该数据集有20条属性，类标签是最后一条，如图。
4. 对数据集有大概了解后，来简单探索性分析一下它。首先查看data.info(),看看有没有缺失值及数据类型。
import pandas as pd
path='E:/Python_file/zuoye/messidor_features.arff'
Cnames = ['x0', 'x1', 'x2', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x9',
'x10', 'x11', 'x12', 'x13', 'x14', 'x15', 'x16', 'x17', 'x18', 'y']
#删掉与数据集无关的内容
data=pd.read_csv(path,header=None,names=Cnames)
print('数据集基础信息：')
print(data.info())
可以看到数据里没有缺失值。再统计一下，类标签为‘1’的数据有611条，占比为53.1%；标签为‘0’的数据有540条，占比为46.9%。说明正例数据与负例数据的数量分布是均衡的。
5. 这里推荐使用pandas-profiling库，可以一键生成对数据集的分析报告，非常好用。没有安装的话用pip install
pandas_profiling 命令安装一下。
import pandas_profiling
report= pandas_profiling.ProfileReport(data)
report.to_file("output_file.html")
运行后生成一个可交互的.html文件，通常包含对数据的类型检测；计算唯一值、缺失值；分位数统计如最小最大值、四分位数、中位数等；描述统计如平均数、众数、峰度偏度等；变量间相关系数的热力图，等等。
我们来看看该数据集下各属性间用Spearman秩相关系数（ρ）描述的单调相关的度量热力图，ρ的值介于-1和+1之间，-1表示完全负单调相关，0表示没有单调相关，1表示完全正单调相关。
三. 方法介绍
逻辑回归的原理有很多博主写的很好，我就不班门弄斧了，主要说说代码。利用sklearn库提供的LogisticRegression()可以很方便的完成训练和预测。
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
X=data[data.columns[0:19]] #提取特征，不要标签
y=data['y'] #train_size=0.8，80%的训练集占比
x_train,x_test,y_train,y_test=train_test_split(X,y,train_size=0.8,random_state=90)
lr=LogisticRegression(max_iter=3000)
clm=lr.fit(x_train,y_train)
print('对测试集的预测结果：')
#输出预测结果、预测结果的结构类型及尺寸
result=clm.predict(x_test)
LogisticRegression()的参数很多，但需要设置的不多。我们的数据集是分布均衡的，参数类别权重 class_weight
不需要设置；关于参数优化算法 solver
用默认的‘liblinear’就好，因为这是二分类问题（只看有没有病变），而且我们是小数据集，也用不到面向大数据集的‘sag’和‘saga’；而
max_iter 是设置迭代次数，如果小了，可能模型没收敛就运行结束了，这里我设置为3000次。
四. 结果和模型评价及可视化
1.测试集的检测结果如图，1代表有病变，0代表没有。要注意的是划分训练集和测试集时，random_state等于不同的值，会得到不同的测试集，我这里是random_state=90，改成其他数，预测结果就和我不同，但对模型评价没有影响。
2.
模型评价的指标有很多，比如召回率、精度、准确率、F统计量、决定系数R²、ROC曲线的包络面积AUC等。可以用classification_report()一键生成评估报告。
from sklearn.metrics import classification_report
print('性能报告;')
print(classification_report(y_test,result))
confusion = metrics.confusion_matrix(y_test, result)
3. 以FPR为横轴，TPR为纵轴，绘制ROC曲线，并由曲线计算得AUC=0.77。
from sklearn.metrics import roc_curve,auc
from matplotlib import pyplot as plt
fpr, tpr, thr = roc_curve(y_test, result, drop_intermediate=False)
fpr, tpr = [0] + list(fpr), [0] + list(tpr)
plt.plot(fpr, tpr)
plt.title('ROC curve for diabetes classifier')
plt.xlabel('False Positive Rate (1 - Specificity)')
plt.ylabel('True Positive Rate (Sensitivity)')
plt.grid(True)
plt.show()
print('AUC:'+ str(auc(fpr,tpr)))
该模型的检测能力还是可以的。
4. 从逻辑回归模型中导出各个变量的回归系数，由此作出重要程度的条形图。
print('逻辑回归各变量系数：')
print(clm.coef_)
coef_lr = pd.DataFrame({'var' : x_test.columns,
'coef' : clm.coef_.flatten()
})
index_sort = np.abs(coef_lr['coef']).sort_values().index
coef_lr_sort = coef_lr.loc[index_sort,:]
# 水平柱形图绘图
fig,ax=plt.subplots()
x, y = coef_lr_sort['var'], coef_lr_sort['coef']
rects = plt.barh(x, y, color='dodgerblue')
plt.grid(linestyle="-.", axis='y', alpha=0.4)
plt.tight_layout()
#添加数据标签
for rect in rects:
w = rect.get_width()
ax.text(w, rect.get_y()+rect.get_height()/2,'%.2f' %w,ha='left',va='center')
逻辑回归就是把线性回归的结果输入到了sigmoid函数，所以各变量的系数还是有的。
可以看到对视网膜病变检测结果影响最大的五个变量分别是x14,x1,x2,x0,x15，它们的含义参照上文。可以确定这五个变量是导致糖尿病视网膜病变的主要因素。
项目运行效果：
毕业设计 糖尿病视网膜预测
项目获取：
扫一扫
9070
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
