深度学习第三周 tensorflow实现天气识别

已于 2023-02-09 22:38:34 修改
阅读量389 收藏 2
点赞数
分类专栏： 365天深度学习 tensorflow系列 文章标签： tensorflow 深度学习 python
于 2023-02-09 22:23:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44753643/article/details/128960900
版权
该文详细介绍了如何利用TensorFlow的`image_dataset_from_directory`函数读取自定义图片数据集，进行天气类别的图像识别。通过数据预处理、搭建CNN网络并训练，最终达到了较好的识别效果。
摘要由CSDN通过智能技术生成

一、本周学习内容:

1、使用tensorflow中的模块读取自己的图片数据集

tensorflow.keras.preprocessing.image_dataset_from_directory(
														   directory=datadir, # 数据集所在目录
                                                           validation_split=0.2,# 保留一部分数据用于验证的比例
                                                           subset='training', # training或validation之一。仅在设置validation_split时使用。标识为训练集还是验证集
                                                           seed=123,  #随机数种子
                                                           image_size=(180,180),  #读取图片后宽高值转化
                                                           batch_size=32) # 多少张图片为一个batch

函数详细介绍看K同学啊的这篇文章:
tf.keras.preprocessing.image_dataset_from_directory() 简介
directory的值如下图
在这里插入图片描述
每一个类别为一个文件夹
在这里插入图片描述
directory=‘H:\xx\第三周 天气识别\weather_photos’

二、前言

我们的天气图片共有1125张,四个类别,类别即为文件夹名。
类别包括:[’cloudy‘,‘rain’,‘shine’,‘sunrise’]
在我们使用tensorflow.keras.preprocessing.image_dataset_from_directory()函数读取后会弹出下列提示
Found 1125 files belonging to 4 classes.
发现1125个文件,4个类别
Using 900 files for training.
使用900个文件进行训练

三、电脑环境

电脑系统：Windows 10
语言环境：Python 3.8.8
编译器：Pycharm 2021.1.3
深度学习环境：TensorFlow 2.8.0,keras 2.8.0
显卡及显存：RTX 3070 8G

四、前期准备

1、导入相关依赖项

from keras.models import Sequential
from keras.layers import *
from tensorflow import keras
import tensorflow as tf
import matplotlib.pyplot as plt

2、设置GPU(我下载的tensorflow-gpu 默认使用GPU)

只使用GPU

if gpus:
    gpu0 = gpus[0]                                        #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")

使用cpu和gpu
os.environ[“CUDA_VISIBLE_DEVICES”] = “-1”

3、加载数据集和展示

(1)、数据集加载

# 数据加载
datadir = "./weather_photos"
# 使用相同的随机数种子是确保  训练集和验证集不重复
train = keras.preprocessing.image_dataset_from_directory(directory=datadir,
                                                           validation_split=0.2,
                                                           subset='training',
                                                           seed=123,
                                                           image_size=(180,180),
                                                           batch_size=32)
val = keras.preprocessing.image_dataset_from_directory(directory=datadir,
                                                           validation_split=0.2,
                                                           subset='validation',
                                                           seed=123,
                                                           image_size=(180,180),
                                                           batch_size=32)
class_names = train.class_names  #获取数据集中包含的类别

(2)、数据展示

图片展示

# 图片展示
plt.figure(figsize=(20, 5))  # 创建一个画布，画布大小为宽20、高5(单位为英寸inch)
for images,labels in train.take(1):
    for i in range(20):
     # 将整个画布分成2行10列，绘制第i+1个子图。
       plt.subplot(2, 10, i+1)
       plt.imshow(images[i].numpy().astype("uint8"), cmap=plt.cm.binary)
       plt.title(class_names[labels[i]])
       plt.axis('off')

plt.show()  #使用pycharm的需要加入这行代码才能将图像显示出来
# train.take(i) 取出第i组图片数据和标签,即将所有图片打包后一个batch为32,
# 所以i最大值为900/32=28组

在这里插入图片描述

五、数据预处理

由于我们使用的是tensorflow.keras.preprocessing.image_dataset_from_directory()函数加载的数据集和之前的不一样,我们需要更改第一层网络层对数据进行预处理,但是注意,这个函数读取后标签并不是热编码格式
标签格式为:
tf.Tensor([1 1 1 0 2 1 1 0 0 3 3 1 0 2 0 2 0 2 0 3 0 3 0 1 1 0 2 0 0 0 0 3], shape=(32,), dtype=int32)
使用数字 0,1,2,3表示各个类别

# 数据预处理
tf.keras.layers.experimental.preprocessing.Rescaling(1./255,input_shape=(180,180,3))

六、搭建CNN网络

除网络层第一层和最后一层有所更改,其余和前两周大致相同

# 网络模型
model = Sequential([
    tf.keras.layers.experimental.preprocessing.Rescaling(1./255,input_shape=(180,180,3)),  #图片预处理将像素值转化到0-1之间
    Conv2D(filters=32,kernel_size=3,activation='relu',input_shape=(180,180,3)),
    MaxPool2D((2,2)),
    Conv2D(filters=64,kernel_size=3,activation='relu'),
    MaxPool2D((2,2)),
    Flatten(),
    Dense(64,activation='relu'),
    Dense(len(class_names))  #因为不是热编码了 去除softmax层
])
# 设置优化器相关
model.compile(optimizer=keras.optimizers.Adam(learning_rate=0.001),loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=['acc'])
history = model.fit(train,validation_data=val,epochs=20,verbose=1)
evaluate = model.evaluate(val)
print(evaluate)

Epoch 1/20
29/29 [==============================] - 5s 48ms/step - loss: 1.9895 - acc: 0.6067 - val_loss: 0.9925 - val_acc: 0.6311
Epoch 2/20
29/29 [==============================] - 1s 41ms/step - loss: 0.5318 - acc: 0.8111 - val_loss: 0.5583 - val_acc: 0.7778
Epoch 3/20
29/29 [==============================] - 1s 43ms/step - loss: 0.4252 - acc: 0.8456 - val_loss: 0.5643 - val_acc: 0.8089
Epoch 4/20
29/29 [==============================] - 1s 42ms/step - loss: 0.3341 - acc: 0.8856 - val_loss: 0.5658 - val_acc: 0.7867
Epoch 5/20
29/29 [==============================] - 1s 41ms/step - loss: 0.2832 - acc: 0.8933 - val_loss: 0.5312 - val_acc: 0.8622
Epoch 6/20
29/29 [==============================] - 1s 40ms/step - loss: 0.2009 - acc: 0.9267 - val_loss: 0.5016 - val_acc: 0.8578
Epoch 7/20
29/29 [==============================] - 1s 40ms/step - loss: 0.1309 - acc: 0.9533 - val_loss: 0.4098 - val_acc: 0.8800
Epoch 8/20
29/29 [==============================] - 1s 41ms/step - loss: 0.1303 - acc: 0.9589 - val_loss: 1.1644 - val_acc: 0.7289
Epoch 9/20
29/29 [==============================] - 1s 41ms/step - loss: 0.2489 - acc: 0.9222 - val_loss: 0.5085 - val_acc: 0.8844
Epoch 10/20
29/29 [==============================] - 1s 40ms/step - loss: 0.1139 - acc: 0.9578 - val_loss: 0.5743 - val_acc: 0.8889
Epoch 11/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0954 - acc: 0.9711 - val_loss: 0.5778 - val_acc: 0.8311
Epoch 12/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0818 - acc: 0.9822 - val_loss: 0.5138 - val_acc: 0.8800
Epoch 13/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0738 - acc: 0.9756 - val_loss: 0.5448 - val_acc: 0.9156
Epoch 14/20
29/29 [==============================] - 1s 40ms/step - loss: 0.0205 - acc: 0.9956 - val_loss: 0.6249 - val_acc: 0.8889
Epoch 15/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0300 - acc: 0.9889 - val_loss: 0.9600 - val_acc: 0.8178
Epoch 16/20
29/29 [==============================] - 1s 42ms/step - loss: 0.0977 - acc: 0.9656 - val_loss: 0.5602 - val_acc: 0.8889
Epoch 17/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0197 - acc: 0.9933 - val_loss: 0.7032 - val_acc: 0.8844
Epoch 18/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0127 - acc: 0.9989 - val_loss: 0.5922 - val_acc: 0.9156
Epoch 19/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0053 - acc: 1.0000 - val_loss: 0.5569 - val_acc: 0.8978
Epoch 20/20
29/29 [==============================] - 1s 41ms/step - loss: 0.0088 - acc: 0.9978 - val_loss: 0.6096 - val_acc: 0.8933
8/8 [==============================] - 0s 9ms/step - loss: 0.6096 - acc: 0.8933
[0.6095936894416809, 0.8933333158493042]

七、绘制损失函数图像和准确度图像

绘制代码与前几周相同

# 画准确度图
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs_range = range(20)
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

在这里插入图片描述

以上就是我本周的学习内容
在这里插入图片描述

降花绘
关注
专栏目录
TensorFlow入门实战｜第3周：天气识别
“365天深度学习训练营”报名进行中～
12-28 684
这部分内容是同学们在做实验过程中产生的一些心得，大家可以借鉴学习~
用TensorFlow实现人脸识别
AI天才研究院
06-05 1165
用TensorFlow实现人脸识别 1.背景介绍 在当今世界,人脸识别技术已经广泛应用于各个领域,如安全监控、身份验证、人群分析等。随着深度学习技术的不断发展,基于卷积神经网络(CNN)的人脸识别算法取得了长足的进步,展现出了优异的性能表现。TensorFlow作为谷歌开源的领先机器学习框
基于tensorflow的天气识别
weixin_53657683的博客
04-17 892
卷积神经网络（CNN）的输入是张量 (Tensor) 形式的 (image_height, image_width, color_channels)，包含了图像高度、宽度及颜色信息。通过学习构建卷积神经网络（CNN）进行图像分类任务的流程，包括数据预处理与加载、模型编译与训练、以及模型评估与可视化，我深入理解了CNN的架构和工作原理。这样做不仅可以最大限度地缩短训练的单步用时（而不是总用时），而且可以缩短提取和转换数据所需的时间。因此，训练所用的时间是 CPU 预处理时间和加速器训练时间的总和。
天气图像识别系统-tensorflow项目
子午的博客
05-18 995
介绍 语言Python，基于tensorflow机器学习库，通过对一千多张天气图片作为数据集进行训练得到模型，实现对多云，雨天，晴天，日出等天气图片的识别，然后使用Django框架搭建网页端交互平台，并配有一个后台管理系统。 界面 视频演示：https://www.bilibili.com/video/BV1654y1Z7wU 技术栈 python tensorflow CNN卷积神经网络 Python WEB 咨询q：2784127853 ...
基于Tensorflow卷积神经网络天气图像识别系统
2301_79810943的博客
05-24 918
一、项目背景随着气候变化和全球变暖的日益严重，天气预报的准确性对于人类的生产生活具有重大意义。传统的天气预测方法主要依赖于气象站点的数据收集和专业人员的经验判断，但这些方法受到站点分布、数据质量和人为因素的限制。近年来，随着深度学习技术的快速发展，尤其是卷积神经网络（CNN）在图像识别领域的成功应用，为天气预测提供了一种新的解决方案。本项目旨在利用TensorFlow深度学习框架，构建一个基于CNN的天气图像识别系统，通过识别卫星云图等天气图像中的关键特征，提高天气预报的准确性和效率。二、项目目标。
基于Tensorflow卷积神经网络天气图像识别系统设计-计算机毕业源码设计
计算机源码设计案例的博客
12-19 1011
2.通过对1070张数据集图片进行训练生成训练模型，模型预测精度90%，使用django框架将数据结果进行显示，并增加后台管理系统方便使用信息的查看。1.这是一个天气图像识别项目，基于tensorflow，使用卷积神经网络实现对多云，雨天，晴天，日出等天气场景进行识别。后台登录地址：http://127.0.0.1:8000/admin/login/开发技术：Django + sqlite + Tensorflow卷积神经网络。管理员账号密码：super/123456。
搭建神经网络进行气温预测
不想随波逐流的大学生一枚，我们每个人都在努力奔跑
05-17 3229
TensorFlow搭建一个气温预测的小回归网络
基于深度学习的天气识别算法对比研究-TensorFlow实现-卷积神经网络（CNN） | 第1例（内附源码+数据）
m0_68629936的博客
05-14 1341
🥧 我的环境： 语言环境：Python3 深度学习环境：TensorFlow2 🥂 相关教程： 编译器教程：新手入门深度学习 | 1-2：编译器Jupyter Notebook 深度学习环境配置教程：新手入门深度学习 | 1-1：配置深度学习环境 一个深度学习小白需要的所有资料我都放这里了：新手入门深度学习 | 目录 建议你学习本文之前先看看下面这篇入门文章，以便你可以更好的理解本文： 🍨 新手入门深度学习 | 2-1：图像数据建模流程示例 强烈建议大家使用Jupyter Lab编译器打开源码，你接
基于python+Django+keras深度学习+opencv+tensorflow开发的人脸识别系统+源码（毕设课设&项目）
04-09
基于python+Django+keras深度...本项目后端采用Python作为开发语言，Django作为WEB后端框架，用到的库有face_recognition人脸识别库,keras深度学习库,tensorflow,opencv计算机视觉库,Image等图片处理相关的第三方库。
深度学习 第三章 tensorflow手写数字识别
桃子Anne的博客
06-27 1125
深度学习入门视频-唐宇迪 （笔记加自我整理） 深度学习 第三章 tensorflow基本操作 1.tensorflow常见操作 2.tensorflow实现线性回归 3.tensoflow实现手写数字识别
9000多张图像天气分类数据集，分为阴天和晴天两个类别，分别保存在两个文件夹中
08-06
9000多张天气图像分类数据集，分为阴天和晴天两个类别，分别保存在两个文件夹中， 数据集和检测结果参考：https://blog.csdn.net/zhiqingAI/article/details/124230743
深度学习入门：基于PyTorch与TensorFlow的理论与实现——第三章TensorFlow 3.6.zip
最新发布
09-22
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等...
深度学习------神经网络图像识别（tensorflow实现）
YTHAAA的博客
05-13 2077
本指南将训练一个神经网络模型，对运动鞋和衬衫等服装图像进行分类。即使您不理解所有细节也没关系；这只是对完整 TensorFlow 程序的快速概述，详细内容会在您实际操作的同时进行介绍。 本指南使用了 tf.keras，它是 TensorFlow 中用来构建和训练模型的高级 API。
深度学习框架tensorflow二实战（回归问题：天气预报）
weixin_43999137的博客
01-20 4854
此前没了解过tensorflow2的魅力的朋友可以先了解一下该网站：Click 首先准备一个小型数据集，2019年的某个地方的天气情况，各位同学也可以自行伪造一份符合正态分布的数据集。 这里提供了一份下载的链接。点击直通temp.csv。 废话不多说，直接加载我们的数据集看一下。 读取数据展示： features = pd.read_csv('temps.csv') print(features....
深度学习第三周，天气识别
weixin_43999864的博客
09-16 727
深度学习学习博客
深度学习：TensorFlow2练习---天气识别数据集
weixin_45735249的博客
07-22 961
深度学习笔记
深度学习——如何利用Python 实现天气识别
m0_71540827的博客
11-01 920
主要用于图像和视频等视觉任务。通过使用卷积层、池化层和全连接层等不同类型的神经网络层，CNN 可以学习图像中的特征并将其用于分类、对象检测和分割等任务。主要用于处理序列数据，如文本和语音。RNN 可以通过反馈循环来处理序列中的依赖关系，并在不同的时间步骤中共享权重。常见的 RNN 类型包括 LSTM 和 GRU 等，它们可以解决长期依赖问题。GAN 是一种无监督的学习算法，可以用于生成具有高度逼真度的图像、音频和视频等数据。GAN 由两个神经网络组成，一个生成器和一个鉴别器。
深度学习：；利用CNN进行天气识别
qq_66033623的博客
04-07 715
本文为🔗中的学习记录博客我的环境：1.语言：python3.72.编译器：pycharm3.我是跟着CSDN上的学习的有关深度学习方面的知识，他也是本次活动的带头人，我们一起跟着他好好学习关于深度学习方面的知识。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

降花绘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值