深度学习100例 | 第26天-卷积神经网络（CNN）：乳腺癌识别-CSDN博客

本文链接：https://blog.csdn.net/qq_38251616/article/details/120348036

本文为🔗365天深度学习训练营内部限免文章（版权归 K同学啊 所有）
参考本文所写记录性文章，请在文章开头注明以下内容，复制粘贴即可

>- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/k-vYaC8l7uxX51WoypLkTw) 中的学习记录博客**
>- **🍦 参考文章地址： [🔗深度学习100例 | 第26天-卷积神经网络（CNN）：乳腺癌识别](https://mtyjkh.blog.csdn.net/article/details/120348036)**
>- **🍖 作者：[K同学啊](https://mp.weixin.qq.com/s/k-vYaC8l7uxX51WoypLkTw)**

大家好，我是『K同学啊』！

今天我将带大家探索一下深度学习在医学领域的应用，乳腺癌是女性最常见的癌症形式，浸润性导管癌 (IDC) 是最常见的乳腺癌形式。准确识别和分类乳腺癌亚型是一项重要的临床任务，利用深度学习方法识别可以有效节省时间并减少错误。我们的数据集是由多张以 40 倍扫描的乳腺癌 (BCa) 标本的完整载玻片图像组成。

🚀 我的环境：

语言环境：Python3.6.5
编译器：jupyter notebook
深度学习环境：TensorFlow2.4.1
数据和代码：📌【传送门】

🚀 来自专栏：《深度学习100例》

如果你是一名深度学习小白可以先看看我这个专门为你写的专栏：《小白入门深度学习》

🚀 往期精彩-卷积神经网络篇：

🚀 往期精彩-循环神经网络篇：

🚀 往期精彩-生成对抗网络篇：

一、设置GPU

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")
    
import matplotlib.pyplot as plt
import os,PIL,pathlib
import numpy as np
import pandas as pd
import warnings
from tensorflow import keras

warnings.filterwarnings("ignore")             #忽略警告信息
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False    # 用来正常显示负号

二、导入数据

1. 导入数据

import pathlib

data_dir = "./32-data"
data_dir = pathlib.Path(data_dir)
image_count = len(list(data_dir.glob('*/*')))
print("图片总数为：",image_count)

图片总数为： 13403

batch_size = 16
img_height = 50
img_width  = 50

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

Found 13403 files belonging to 2 classes.
Using 10723 files for training.

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="validation",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

Found 13403 files belonging to 2 classes.
Using 2680 files for validation.

class_names = train_ds.class_names
print(class_names)

['0', '1']

2. 检查数据

for image_batch, labels_batch in train_ds:
    print(image_batch.shape)
    print(labels_batch.shape)
    break

(16, 50, 50, 3)
(16,)

3. 配置数据集

shuffle() ： 打乱数据，关于此函数的详细介绍可以参考：https://zhuanlan.zhihu.com/p/42417456
prefetch() ： 预取数据，加速运行，其详细介绍可以参考我前两篇文章，里面都有讲解。
cache() ： 将数据集缓存到内存当中，加速运行

AUTOTUNE = tf.data.AUTOTUNE

def train_preprocessing(image,label):
    return (image/255.0,label)

train_ds = (
    train_ds.cache()
    .shuffle(1000)
    .map(train_preprocessing)    # 这里可以设置预处理函数
#     .batch(batch_size)           # 在image_dataset_from_directory处已经设置了batch_size
    .prefetch(buffer_size=AUTOTUNE)
)

val_ds = (
    val_ds.cache()
    .shuffle(1000)
    .map(train_preprocessing)    # 这里可以设置预处理函数
#     .batch(batch_size)         # 在image_dataset_from_directory处已经设置了batch_size
    .prefetch(buffer_size=AUTOTUNE)
)

4. 数据可视化

plt.figure(figsize=(10, 8))  # 图形的宽为10高为5
plt.suptitle("数据展示")

class_names = ["乳腺癌细胞","正常细胞"]

for images, labels in train_ds.take(1):
    for i in range(15):
        plt.subplot(4, 5, i + 1)
        plt.xticks([])
        plt.yticks([])
        plt.grid(False)

        # 显示图片
        plt.imshow(images[i])
        # 显示标签
        plt.xlabel(class_names[labels[i]-1])

plt.show()

三、构建模型

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu",input_shape=[img_width, img_height, 3]),
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),

    tf.keras.layers.MaxPooling2D((2,2)),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
    tf.keras.layers.MaxPooling2D((2,2)),
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
    tf.keras.layers.MaxPooling2D((2,2)),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(2, activation="softmax")
])
model.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None, 50, 50, 16)        448       
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 50, 50, 16)        2320      
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 25, 25, 16)        0         
_________________________________________________________________
dropout (Dropout)            (None, 25, 25, 16)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 25, 25, 16)        2320      
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 12, 12, 16)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 12, 12, 16)        2320      
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 6, 6, 16)          0         
_________________________________________________________________
flatten (Flatten)            (None, 576)               0         
_________________________________________________________________
dense (Dense)                (None, 2)                 1154      
=================================================================
Total params: 8,562
Trainable params: 8,562
Non-trainable params: 0
_________________________________________________________________

四、编译

model.compile(optimizer="adam",
                loss='sparse_categorical_crossentropy',
                metrics=['accuracy'])

五、训练模型

from tensorflow.keras.callbacks import ModelCheckpoint, Callback, EarlyStopping, ReduceLROnPlateau, LearningRateScheduler

NO_EPOCHS = 100
PATIENCE  = 5
VERBOSE   = 1

# 设置动态学习率
annealer = LearningRateScheduler(lambda x: 1e-3 * 0.99 ** (x+NO_EPOCHS))

# 设置早停
earlystopper = EarlyStopping(monitor='loss', patience=PATIENCE, verbose=VERBOSE)

# 
checkpointer = ModelCheckpoint('best_model.h5',
                                monitor='val_accuracy',
                                verbose=VERBOSE,
                                save_best_only=True,
                                save_weights_only=True)

train_model  = model.fit(train_ds,
                  epochs=NO_EPOCHS,
                  verbose=1,
                  validation_data=val_ds,
                  callbacks=[earlystopper, checkpointer, annealer])

Epoch 1/100
671/671 [==============================] - 6s 5ms/step - loss: 0.5599 - accuracy: 0.7103 - val_loss: 0.4927 - val_accuracy: 0.7537
Epoch 00001: val_accuracy improved from -inf to 0.75373, saving model to best_model.h5
Epoch 2/100
671/671 [==============================] - 3s 4ms/step - loss: 0.4434 - accuracy: 0.8032 - val_loss: 0.5748 - val_accuracy: 0.7037
......
Epoch 00098: val_accuracy did not improve from 0.91381
Epoch 99/100
671/671 [==============================] - 3s 4ms/step - loss: 0.2091 - accuracy: 0.9149 - val_loss: 0.2311 - val_accuracy: 0.9134
Epoch 00099: val_accuracy did not improve from 0.91381
Epoch 100/100
671/671 [==============================] - 3s 4ms/step - loss: 0.2073 - accuracy: 0.9132 - val_loss: 0.2269 - val_accuracy: 0.9138
Epoch 00100: val_accuracy did not improve from 0.91381

六、评估模型

1. Accuracy与Loss图

# 直接购买专栏《深度学习100例》的同学可以找我拿源码以及数据，
# 加我微信（mtyjkh_）购买可打8折
# 不支持CSDN会员以及其他方式订阅

2. 混淆矩阵

# 直接购买专栏《深度学习100例》的同学可以找我拿源码以及数据，
# 加我微信（mtyjkh_）购买可打8折
# 不支持CSDN会员以及其他方式订阅

3. 各项指标评估

# 直接购买专栏《深度学习100例》的同学可以找我拿源码以及数据，
# 加我微信（mtyjkh_）购买可打8折
# 不支持CSDN会员以及其他方式订阅

              precision    recall  f1-score   support

       乳腺癌细胞       0.92      0.90      0.91      1339
        正常细胞       0.91      0.92      0.91      1341

    accuracy                           0.91      2680
   macro avg       0.91      0.91      0.91      2680
weighted avg       0.91      0.91      0.91      2680

Loss function: 0.22688131034374237, accuracy: 0.9138059616088867

🚀 本文选自专栏：《深度学习100例》

💖先赞后看，再收藏，养成好习惯！💖