T10打卡-学习笔记

最新推荐文章于 2024-10-16 20:27:35 发布
最新推荐文章于 2024-10-16 20:27:35 发布
阅读量254 收藏 3
点赞数 10
文章标签： 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Inface0443/article/details/141201705
版权

配置环境

import matplotlib.pyplot as plt
import numpy as np
#隐藏警告
import warnings
warnings.filterwarnings('ignore')

from tensorflow.keras import layers
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpus[0]],"GPU")

# 打印显卡信息，确认GPU可用
print(gpus)

[]

加载数据

data_dir   = r"C:\Users\11054\Desktop\kLearning\t9_learning\data"
img_height = 224
img_width  = 224
batch_size = 32

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

Found 3400 files belonging to 2 classes.
Using 2380 files for training.
  • preprocessing.image_dataset_from_directory作用
  • 将文件夹中的数据加载到tf.data.Dataset中，且加载的同时会打乱数据

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

Found 3400 files belonging to 2 classes.
Using 2380 files for training.

val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)

print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))

Number of validation batches: 60
Number of test batches: 15

显示数据类

class_names = train_ds.class_names
print(class_names)

['cat', 'dog']

AUTOTUNE = tf.data.AUTOTUNE

def preprocess_image(image,label):
    return (image/255.0,label)

# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)

train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

显示数据

plt.figure(figsize=(15, 10))  # 图形的宽为15高为10

for images, labels in train_ds.take(1):
    for i in range(8):

        ax = plt.subplot(5, 8, i + 1)
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])

        plt.axis("off")

在这里插入图片描述


# 数据增强
data_augmentation = tf.keras.Sequential([
  tf.keras.layers.RandomFlip("horizontal_and_vertical"),
  tf.keras.layers.RandomRotation(0.2),
])
  • 第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。
# Add the image to a batch.
image = tf.expand_dims(images[i], 0)

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = data_augmentation(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0])
    plt.axis("off")

在这里插入图片描述

增强方式一

model = tf.keras.Sequential([
  data_augmentation,
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
])

增强方式二

batch_size = 32
AUTOTUNE = tf.data.AUTOTUNE

def prepare(ds):
    ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)
    return ds

train_ds = prepare(train_ds)

训练模型

model = tf.keras.Sequential([
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(32, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(64, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(128, activation='relu'),
  layers.Dense(len(class_names))
])

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

epochs=20
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

Epoch 1/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m18s[0m 215ms/step - accuracy: 0.5271 - loss: 0.9259 - val_accuracy: 0.6942 - val_loss: 0.6044
Epoch 2/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m16s[0m 210ms/step - accuracy: 0.7156 - loss: 0.5635 - val_accuracy: 0.8395 - val_loss: 0.3700
Epoch 3/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m20s[0m 200ms/step - accuracy: 0.8441 - loss: 0.3581 - val_accuracy: 0.8858 - val_loss: 0.2847
Epoch 4/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m15s[0m 197ms/step - accuracy: 0.8801 - loss: 0.2856 - val_accuracy: 0.9005 - val_loss: 0.2370
Epoch 5/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m21s[0m 201ms/step - accuracy: 0.9018 - loss: 0.2407 - val_accuracy: 0.9242 - val_loss: 0.1893
Epoch 6/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m15s[0m 200ms/step - accuracy: 0.9204 - loss: 0.2070 - val_accuracy: 0.9263 - val_loss: 0.2077
Epoch 7/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m15s[0m 199ms/step - accuracy: 0.9304 - loss: 0.1740 - val_accuracy: 0.9137 - val_loss: 0.2569
Epoch 8/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m15s[0m 202ms/step - accuracy: 0.9367 - loss: 0.1704 - val_accuracy: 0.9426 - val_loss: 0.1460
Epoch 9/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m21s[0m 198ms/step - accuracy: 0.9519 - loss: 0.1344 - val_accuracy: 0.9295 - val_loss: 0.1940
Epoch 10/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m15s[0m 200ms/step - accuracy: 0.9348 - loss: 0.1784 - val_accuracy: 0.9532 - val_loss: 0.1367
Epoch 11/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m21s[0m 200ms/step - accuracy: 0.9485 - loss: 0.1273 - val_accuracy: 0.9395 - val_loss: 0.1620
Epoch 12/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m15s[0m 194ms/step - accuracy: 0.9307 - loss: 0.1438 - val_accuracy: 0.9442 - val_loss: 0.1544
Epoch 13/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m21s[0m 190ms/step - accuracy: 0.9524 - loss: 0.1435 - val_accuracy: 0.9432 - val_loss: 0.1624
Epoch 14/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m16s[0m 207ms/step - accuracy: 0.9424 - loss: 0.1413 - val_accuracy: 0.9626 - val_loss: 0.1091
Epoch 15/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m16s[0m 202ms/step - accuracy: 0.9562 - loss: 0.1152 - val_accuracy: 0.9411 - val_loss: 0.1616
Epoch 16/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m16s[0m 207ms/step - accuracy: 0.9519 - loss: 0.1249 - val_accuracy: 0.9463 - val_loss: 0.1593
Epoch 17/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m16s[0m 208ms/step - accuracy: 0.9473 - loss: 0.1339 - val_accuracy: 0.9626 - val_loss: 0.1135
Epoch 18/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m16s[0m 212ms/step - accuracy: 0.9604 - loss: 0.1100 - val_accuracy: 0.9589 - val_loss: 0.1094
Epoch 19/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m20s[0m 205ms/step - accuracy: 0.9584 - loss: 0.1125 - val_accuracy: 0.9516 - val_loss: 0.1344
Epoch 20/20
[1m75/75[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m16s[0m 208ms/step - accuracy: 0.9539 - loss: 0.1224 - val_accuracy: 0.9668 - val_loss: 0.0874

评估模型

import matplotlib.pyplot as plt

plt.plot(history.history['accuracy'], label='accuracy')
plt.plot(history.history['val_accuracy'], label = 'val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.ylim([0.5, 1])
plt.legend(loc='lower right')
plt.show()

在这里插入图片描述

loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

[1m15/15[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m1s[0m 68ms/step - accuracy: 0.9499 - loss: 0.1181
Accuracy 0.9624999761581421

模型预测

import numpy as np

# 采用加载的模型（new_model）来看预测结果
plt.figure(figsize=(18, 3))  # 图形的宽为18高为5
plt.suptitle("预测结果展示")

for images, labels in val_ds.take(1):
    for i in range(8):
        ax = plt.subplot(1,8, i + 1)

        # 显示图片
        plt.imshow(images[i].numpy())

        # 需要给图片增加一个维度
        img_array = tf.expand_dims(images[i], 0)

        # 使用模型预测图片中的人物
        predictions = model.predict(img_array)
        plt.title(class_names[np.argmax(predictions)])

        plt.axis("off")

[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 133ms/step
[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 26ms/step
[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 34ms/step
[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 33ms/step
[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 36ms/step
[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 135ms/step
[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 33ms/step
[1m1/1[0m [32m━━━━━━━━━━━━━━━━━━━━[0m[37m[0m [1m0s[0m 42ms/step

在这里插入图片描述

自定义增加函数

import random
def aug_img(image):
    seed = (random.randint(0,9), 0)
    # 随机改变图像对比度
    stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
    return stateless_random_brightness

改变像素

image = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = aug_img(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0].numpy().astype("uint8"))

    plt.axis("off")

在这里插入图片描述

个人总结

  • 学习了数据增强 包括旋转、翻转、缩放、改变图像对比度、改变像素
无涯学徒1998
关注
基于《狂神说Java》Redis--学习笔记
wudidahuanggua的博客
06-19 1705
本笔记仅做学习与复习使用，不存在刻意抄袭。给各位学友强烈推荐《遇见狂神说》他的整套Java学习路线使我获益匪浅！！!
【学习笔记】Lesson3-基于神经网络方法求解RL（强化学习7日打卡营-世界冠军带你从零实践）
Kevin Pang的博客
06-26 498
Lesson3-基于神经网络方法求解RL 3.1 背景知识——值函数近似&神经网络 RL➡Deep RL: 从少量状态到数不清的状态 3.1.1 值函数近似（Q函数近似） 3.1.2 神经网络——黑盒不黑 神经网络可逼近任意连续函数 案例分析：求解四元一次方程 代码如下 # 运行线性回归模型————快速求解4元一次方程 # 加载库 import paddle.fluid as fluid import numpy as np # 生成数据 np.random.seed(0) out
T11打卡-学习笔记
Inface0443的博客
08-28 908
adam在训练集上表现优于sgd 但是测试集上两者相差不大。
L4打卡学习笔记
Inface0443的博客
09-17 387
K邻近模型用于分类，预测数据为数据库中相似度最高的n个数据中占比最大的结果值，n_neighbors用于控制K值。
每日学习打卡-汇总处
大林程序员
04-03 3457
无，就是一个打卡而已
DataWhale9月打卡-Day10
royi_0825的博客
09-21 330
探测作为一种强大的分析工具，通过冻结语言模型表示编码器（上图中灰色部分）和优化特定任务的探针（上图中预测头，蓝色部分）来工作。这些模型可以是线性的或浅前馈预测头，提供了一种灵活的方法来理解和解释深度学习模型的内部工作机制。固定长度表示的策略也进一步促进了这一目的，提供了灵活而有效的解决方案。冻结（灰色）：无需任何操作。优化（蓝色，每个任务有所不同）：语言模型的所有参数，外加一个新的预测头。微调是一种强大的工具，可以使预先训练的语言模型更好地符合人类的期望和需求。
MYSQL学习笔记-打卡2
Baby1601tree的博客
04-04 313
MYSQL学习笔记-打卡2 2.1 MySQL 基础 （二）- 表操作 #学习内容# MySQL表数据类型 用SQL语句创建表 语句解释 设定列类型 、大小、约束 设定主键 用SQL语句向表中添加数据 语句解释 多种添加方式（指定列名；不指定列名） 用SQL语句删除表 语句解释 DELETE DROP TRUNCATE 不同方式的区别 用SQL语句修改表 修改列名 修改表中数据 删除行 删除列 ...
paddlepaddle-强化学习7日打卡营--心得笔记(作业二)
y455471846b的博客
06-26 276
Step1 安装依赖 !pip install gym Looking in indexes: https://pypi.mirrors.ustc.edu.cn/simple/ Requirement already satisfied: gym in /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages (0.12.1) Requirement already satisfied: scipy in /opt/conda/e
Leetcode打卡笔记2-数组基础
spf991022的博客
09-13 185
这几天学习了数组的定义、随机访问数组元素的方式、多维数组的组成以及不同编程语言中数组的实现。同时学习了访问数组元素、查找数组元素、插入数组元素、改变数组元素以及删除数组元素的方法实现，并学习了其相应的时间复杂度。下面选取了几道leetcode中关于数组的题进行练习。
Java|学习打卡-05
weixin_46499784的博客
05-04 473
一、数组的概述 数组(Array)，是多个相同类型数据按一定顺序排列 的集合，并使用一个名字命名，并通过编号的方式 对这些数据进行统一管理。 数组的常见概念： 数组名 下标(或索引) 元素 数组的长度：元素的个数 数组的特点： 数组是有序排列的； 数组属于引用数据类型的变量。数组的元素既可以是基本数据类型，也可以是引用数据类型； 创建数组对象会在内存中开辟一整块连续的空间； 数组的长度一旦确定，就不能修改。 数组的分类： 按照维度：一维数组、二维数组、三维数组、… 按照元
Python学习笔记 - 阿里云天池Python训练营打卡（3）
AliceTime11的博客
03-30 963
打卡记录： Python学习 - 阿里云天池Python训练营打卡（1） Python学习 - 阿里云天池Python训练营打卡（2） 目录1. 阿里云天池教程链接 (3)2. 函数2.1 函数的定义 1. 阿里云天池教程链接 (3) 阿里云天池教程(3) （点击打开链接） 2. 函数 2.1 函数的定义 函数以def关键词开头，后接函数名和圆括号()。 函数执行的代码以冒号起始，并且缩进。 return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回None。 d
暑期SQL编程Task05学习笔记打卡
lxy13966988476的博客
08-27 211
练习６.１ 请说出针对本章中使用的 product（商品）表执行如下 SELECT 语句所能得到的结果。 SELECT product_id ,product_name ,sale_price ,MAX(sale_price) OVER (ORDER BY product_id) AS Current_max_price FROM product 按照商品编号（product_id）的升序进行排序，计算出截至当前行的最高销售单价，返回截止至本行的最
Linux学习笔记(7) -- 文件管理(中)
qq_22255311的博客
08-07 1244
Linux学习笔记(7) -- 文件管理(中)
MySQL数据库的详细学习步骤
2401_87352036的博客
10-11 1280
MySQL数据库的详细学习步骤可以归纳为以下几个阶段，每个阶段都包含了特定的学习内容和目标。
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1404
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 523
论文创新点，将注意力机制 和卷积 相结合。
stm32单片机个人学习笔记9（TIM输入捕获）
2302_80867398的博客
10-13 270
从模式选择Reset模式可以实现自动清零计数器CNT。
苍穹外卖学习笔记(二十一)
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
10-13 358
取消订单与再来一单
小新学习Docker之Docker--harbor私有仓库部署与管理
最新发布
pangdongqiqi的博客
10-16 858
Harbor 是 VMware 公司开源的企业级 Docker Registry 项目，其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务。Harbor以 Docker 公司开源的 Registry 为基础，提供了图形管理 UI 、基于角色的访问控制(Role Based AccessControl) 、AD/LDAP 集成、以及审计日志(Auditlogging) 等企业用户需求的功能，同时还原生支持中文。
CC3200AI实验：人脸打卡机TCP-WiFi网络通信教程
该文档是关于人脸打卡机通过WiFi使用TCP网络通信的实验教程，主要涉及CC3200AI开发板的TCP网络通信实现。 在现代办公环境中，人脸识别技术被广泛应用于打卡系统，人脸打卡机就是其中的一种应用。这款设备通常集成了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值