C C++最新【学习挑战赛深度学习实践（六）】乳腺癌识别，程序员面试防坑宝典-CSDN博客

本文链接：https://blog.csdn.net/2401_84978659/article/details/138886600

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新


##### 2 加载训练集


* 读取数据集（训练集为验证码图片，都放在本地目录中，所以首先加载本地目录；为了检验是否读取成功，用matplotlib库显示图片），并将数据可视化
* [数据集官方介绍文档](https://bbs.csdn.net/topics/618668825)
* 这一步主要是通过TensorFlow深度学习框架的preprocessing方法进行数据的标准化，加载到数据集中

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=0.2,
subset=“training”,
seed=12,
image_size=(img_height, img_width),
batch_size=batch_size)


##### 3 数据预处理


* 将加载到内存的验证码图片训练集进行数据清洗，包括对无效图片，NULL值，图片大小统一的处理等等，下面封装，可以使过程更加简便，可以使过程更加简便


##### 4 构建模型


**下面就是比较重要的一步，构建模型**


* 为了使训练的过程更加简便，所以可以使用prefetch函数：

 该函数的主要作用是 同时执行训练步骤的数据预处理阶段以及执行阶段，同时利用CPU与加速器，避免了传统训练过程中的“串行”思想（使用CPU进行数据预处理的时候加速器空闲，使用加速器进行模型训练的时候GPU空闲），缩短提取和转换数据所需的时间，使模型训练的效率大大提高  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/292df30289c64e65989c287daa75a784.png)


	+ cache( )：将数据集以缓存的形式加载到内存中，以实现加速运行的目的
	+ shuffle（）：将数据集打乱，增加随机性来使模型更具有普遍性

AUTOTUNE = tf.data.AUTOTUNE

def train_preprocessing(image,label):
return (image/255.0,label)

train_ds = (
train_ds.cache()
.shuffle(1000)
.map(train_preprocessing)

.batch(batch_size)

.prefetch(buffer_size=AUTOTUNE)

)

val_ds = (
val_ds.cache()
.shuffle(1000)
.map(train_preprocessing) # 这里可以设置预处理函数

.batch(batch_size) # 在image_dataset_from_directory处已经设置了batch_size

.prefetch(buffer_size=AUTOTUNE)

)


##### 5 训练


将构建好模型后，就是将模型投入到实际使用环境中，基于神经网络对模型输入输出的反馈进行自身调整


* 设置初始学习率

import tensorflow as tf

m = tf.keras.Sequential([
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding=“same”,activation=“relu”,input_shape=[img_width, img_height, 3]),
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding=“same”,activation=“relu”),

tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Dropout(0.5),
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(2, activation="softmax")

])
m.summary()

m.compile(optimizer=“adam”,
loss=‘sparse_categorical_crossentropy’,
metrics=[‘accuracy’])


![在这里插入图片描述](https://img-blog.csdnimg.cn/cb7e5e9dd51f4f9eab4e93d5f7c2dc61.png)


### 3 预测与评估


检验模型的训练效果，就需要使用模型对测试集进行预测与评估


采用加载的模型（new\_model）来看预测结果

plt.figure(figsize=(10, 5)) # 图形的宽为10高为5
plt.suptitle(“预测结果展示”)

for images, labels in val_ds.take(1):
for i in range(8):
ax = plt.subplot(2, 4, i + 1)

    # 显示图片
    plt.imshow(images[i].numpy().astype("uint8"))
    
    # 需要给图片增加一个维度
    img_array = tf.expand\_dims(images[i], 0) 
    
    # 使用模型预测图片中的人物
    predictions = new_model.predict(img_array)
    plt.title(class_names[np.argmax(predictions)])

    plt.axis("off")


* **得到训练数据变化趋势以及损失函数变化曲线，如下：**  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/1dca303a388240c29a0f1e97126aba1a.png)
* 编译与训练
* 将指数衰减学习率送入优化器
* ![在这里插入图片描述](https://img-blog.csdnimg.cn/f9066893fa2842ee9902807fef295ad4.png)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/8e423b612b6f4c86aed9be55424727e0.png)
* 指标评估


![在这里插入图片描述](https://img-blog.csdnimg.cn/d72853bc65354b60af4cbe792a012c68.png)


![img](https://img-blog.csdnimg.cn/img_convert/352ec59e2ade2da484a6dda8ad6ebd41.png)
![img](https://img-blog.csdnimg.cn/img_convert/bb56046c814cec339da98371c14af97d.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618668825)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618668825)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**