tensorflow快速入门--如何定义张量、定义网络结构、超参数设置、模型训练？？？

于 2024-10-08 20:05:50 发布
阅读量525 收藏 7
点赞数 24
分类专栏： 基于tensorflow的深度学习案例 文章标签： tensorflow 人工智能 深度学习 python cnn 机器学习 neo4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74085818/article/details/142767869
版权

前言

  • 由于最近学习的东西涉及到tensorflow的使用，故先简单的学习了一下tensorflow中如何定义张量、定义网络结构、超参数设置、模型训练的API调用过程；
  • 欢迎大家，收藏+关注，本人将持续更新。

文章目录

1、基本操作

1、张量基础操作

tensorflow中定义常量张量是constant，也就是不能改变的张量。

# 导入库
import tensorflow as tf 
import numpy as np

创建0维度张量

zeros = tf.constant(3)
zeros

输出：

<tf.Tensor: shape=(), dtype=int32, numpy=3>

输出说明：

  • shape: 数据维度，0
  • numpy：数据，3

创建1维张量

tf.constant([1.0, 2.0, 3.0])

输出：

<tf.Tensor: shape=(3,), dtype=float32, numpy=array([1., 2., 3.], dtype=float32)>

输出说明：

  • shape: 数据维度，(1， 3)
  • numpy：数据，array[1., 2., 3.]
  • dtype：数据类型，浮点类型

创建多维张量

tf.constant([[1, 2],
             [3, 4],
             [5, 6]], dtype=tf.float32)

输出：

<tf.Tensor: shape=(3, 2), dtype=float32, numpy=
array([[1., 2.],
       [3., 4.],
       [5., 6.]], dtype=float32)>

输出说明：

  • shape: 数据维度，(3, 2)
  • numpy：数据
  • dtype：数据类型，浮点类型

三维乃至四维都是这样

2、转换成numpy

tf1 = tf.constant([1, 2, 3, 4, 5])
tf1

输出：

<tf.Tensor: shape=(5,), dtype=int32, numpy=array([1, 2, 3, 4, 5])>

#tensor转numpy
#方法一
np.array(tf1)

输出：

array([1, 2, 3, 4, 5])

#方法二
tf1.numpy()

输出：

array([1, 2, 3, 4, 5])

3、常用函数

注意：tensorflow默认不是浮点类型。

# 这样默认是float32
a = tf.constant([[1.0, 2],
                 [3, 4]])

b = tf.constant([[1, 1],
                 [1, 1]], dtype=tf.float32)

注意：constant是创建不可变的张量，不能修改，一下这个不能修改

# 会报错
a[0, 0] = 2

报错如下：
---------------------------------------------------------------------------

TypeError                                 Traceback (most recent call last)

Cell In[9], line 2
      1 # 会报错
----> 2 a[0, 0] = 2

TypeError: 'tensorflow.python.framework.ops.EagerTensor' object does not support item assignment

# 加法
tf.add(a, b)

输出：

<tf.Tensor: shape=(2, 2), dtype=float32, numpy=
array([[2., 3.],
       [4., 5.]], dtype=float32)>

# 乘法
tf.matmul(a, b)

输出：

<tf.Tensor: shape=(2, 2), dtype=float32, numpy=
array([[3., 3.],
       [7., 7.]], dtype=float32)>

# 最大值
tf.reduce_max

输出：

<function tensorflow.python.ops.math_ops.reduce_max(input_tensor, axis=None, keepdims=False, name=None)>

# 最大值索引
tf.argmax(a)

输出：

<tf.Tensor: shape=(2,), dtype=int64, numpy=array([1, 1], dtype=int64)>

# 平均值
tf.reduce_mean(a)

输出：

<tf.Tensor: shape=(), dtype=float32, numpy=2.5>

4、变量

tf.Variable：tensorflow是可变类，ptorch没有这个，但是pytorch的张量是可以变的

var = tf.Variable([[1,2],[3,4]])
var

输出：

<tf.Variable 'Variable:0' shape=(2, 2) dtype=int32, numpy=
array([[1, 2],
       [3, 4]])>

# 查看变量的维度
var.shape

输出：

TensorShape([2, 2])

# 查看数据类型
var.dtype

输出：

tf.int32

# 修改变量的值
# 不能直接这样修改值：var[0, 0] = 5
var[0,0].assign(2)

输出：

<tf.Variable 'UnreadVariable' shape=(2, 2) dtype=int32, numpy=
array([[2, 2],
       [3, 4]])>

# 也可以整体修改
var.assign([[3,4],[5,6]])

输出：

<tf.Variable 'UnreadVariable' shape=(2, 2) dtype=int32, numpy=
array([[3, 4],
       [5, 6]])>

输出：

# 但是不能修改成维度不匹配的
var.assgin([2,3]) # 错误

---------------------------------------------------------------------------

AttributeError                            Traceback (most recent call last)

Cell In[21], line 2
      1 # 但是不能修改成维度不匹配的
----> 2 var.assgin([2,3]) # 错误
AttributeError: 'ResourceVariable' object has no attribute 'assgin'

2、用tensorflow构建神经网络

以实现手写字体的识别为例，按步骤一步一步实现，核心：

  • 导入数据
  • 构建神经网络
  • 设置超参数
  • 模型训练

1、数据分析

1、导入库

# 导入一些必要库
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt


# 查看是否支持gpu
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")
    
print(gpus)

[]
  • tf: 导入tensorflow框架
  • datasets：提供常用的数据集，方便快速加载和使用。
  • layers：提供各种神经网络层，用于构建模型。
  • models：提供模型类，如 Sequential，用于管理和训练模型。

2、导入数据

tensorflow中可以利用API直接导入mnist数据，导入数据分别依次为训练集图片、训练集标签、测试集图片、测试集标签

(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
11493376/11490434 [==============================] - 4s 0us/step

3、数据归一化

作用：

  • 去除数据的量纲影响，减小数据的方差，使得模型更加准确；
  • 加快算法学习速度。
# 将数据标准化在0-1区间内
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维度信息
train_images.shape, train_labels.shape, test_images.shape, test_labels.shape

输出：

((60000, 28, 28), (60000,), (10000, 28, 28), (10000,))

4、图片展示

plt.figure(figsize=(20, 10))
for i in range(20):
    plt.subplot(2, 10, i + 1)  # 宽、高、位置
    plt.imshow(train_images[i], cmap=plt.cm.binary)
    plt.xlabel(train_labels[i])
    
plt.show()

​
在这里插入图片描述

​

5、图片格式归一化

train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))

train_images.shape, train_labels.shape, test_images.shape, test_labels.shape

输出：

((60000, 28, 28, 1), (60000,), (10000, 28, 28, 1), (10000,))

2、构建神经网络

下面是我用AI大模型搜到的一些资料：
在 TensorFlow 中，tf.keras.layers 模块提供了构建神经网络所需的各种层。这些层可以用来构建不同类型的神经网络模型，如卷积神经网络（CNN）、循环神经网络（RNN）等。下面是一些常用的层类型及其简要说明：

基础层

  • Dense：全连接层，用于构建标准的前馈神经网络。
    • 参数：units（输出维度），activation（激活函数），use_bias（是否使用偏置项）等。
  • Activation：独立的激活层，可以应用于任何其他层的输出。
    • 参数：activation（激活函数名或函数对象）。
  • Dropout：用于防止过拟合，通过随机丢弃一部分神经元来实现。
    • 参数：rate（丢弃率，即每个神经元被丢弃的概率）。
  • Flatten：将多维输入展平成一维向量，常用于连接卷积层和全连接层之间。
    • 参数：无。

卷积层

  • Conv1D、Conv2D、Conv3D：一维、二维、三维卷积层，分别适用于时间序列数据、图像数据和视频数据。
    • 参数：filters（滤波器数量），kernel_size（卷积核大小），strides（步长），padding（填充方式），activation（激活函数）等。
  • SeparableConv1D、SeparableConv2D：深度可分离卷积层，用于减少计算量和参数数量。
    • 参数与普通卷积层类似。
  • DepthwiseConv2D：深度卷积层，用于处理通道之间的信息。
    • 参数：kernel_size，strides，padding等。

池化层

  • MaxPooling1D、MaxPooling2D、MaxPooling3D：最大池化层，用于降低数据的空间尺寸。
    • 参数：pool_size（池化窗口大小），strides，padding等。
  • AveragePooling1D、AveragePooling2D、AveragePooling3D：平均池化层，作用类似于最大池化层，但采用的是平均值而不是最大值。
    • 参数与最大池化层相同。

循环层

  • SimpleRNN：简单的循环神经网络层。
    • 参数：units（输出维度），activation，use_bias等。
  • LSTM：长短期记忆网络层，是一种特殊的 RNN 层，能够学习长期依赖关系。
    • 参数与 SimpleRNN 相似。
  • GRU：门控循环单元层，是 LSTM 的简化版本。
    • 参数与 SimpleRNN 和 LSTM 相似。

正则化层

  • BatchNormalization：批量归一化层，用于加速训练过程并减少内部协变量转移。
    • 参数：axis（指定要进行归一化的轴），momentum（移动平均的动量），epsilon（防止除零的小值）等。

输入层

  • InputLayer：显式定义模型的输入层。
    • 参数：input_shape（输入张量的形状），batch_size（批处理大小）等。

注意力机制相关层

  • Attention：注意力机制层，用于在模型中引入注意力机制。
    • 参数：use_scale（是否使用缩放因子），causal（是否为因果注意力）等。

当然，这些只是 tf.keras.layers 模块提供的一部分层。

model = models.Sequential([
    # 激活函数，relu
    # 池化层：平均池化
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),  # 卷积层
    layers.MaxPooling2D((2, 2)),  # 池化层
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层
    layers.MaxPooling2D((2, 2)),   # 池化层
 
    layers.Flatten(),  # 全部展开
    layers.Dense(64, activation='relu'),   # 降维
    layers.Dense(10)  # 根据需要分类数来分类
])
# 打印模型结构
model.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_5 (Conv2D)            (None, 26, 26, 32)        320       
_________________________________________________________________
max_pooling2d_5 (MaxPooling2 (None, 13, 13, 32)        0         
_________________________________________________________________
conv2d_6 (Conv2D)            (None, 11, 11, 64)        18496     
_________________________________________________________________
max_pooling2d_6 (MaxPooling2 (None, 5, 5, 64)          0         
_________________________________________________________________
flatten_2 (Flatten)          (None, 1600)              0         
_________________________________________________________________
dense_4 (Dense)              (None, 64)                102464    
_________________________________________________________________
dense_5 (Dense)              (None, 10)                650       
=================================================================
Total params: 121,930
Trainable params: 121,930
Non-trainable params: 0
_________________________________________________________________

3、设置超参数

model.compile 方法用于配置模型的训练过程。这个方法允许你指定损失函数、优化器和评估指标等关键参数，以便在训练过程中使用

model.compile(
    # 设置优化器
    optimizer = 'adam',
    # 设置损失率
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    # 评价指标
    metrics=['accuracy']
)

4、模型训练

model.fit是tensorflow中模型训练的核心方法，其主要参数如下：

  • x：训练数据。可以是 NumPy 数组、Python 列表或 TensorFlow 数据集。
  • y：训练数据的标签。可以是 NumPy 数组或 Python 列表。
  • epochs：训练的轮数。每个 epoch 表示模型将遍历整个训练数据集一次。
  • batch_size：每个批次的样本数。默认情况下，model.fit 会在每个 epoch 内将训练数据分成多个批次进行训练。
  • validation_data：验证数据，用于在每个 epoch 结束时评估模型性能。可以是一个元组 (x_val, y_val)，其中 x_val 和 y_val 分别是验证数据和标签。
  • validation_split：从训练数据中划分出一部分作为验证数据的比例。如果指定了 validation_split，则不需要再提供 validation_data。
  • shuffle：是否在每个 epoch 开始前打乱训练数据。默认为 True。
  • class_weight：类别权重，用于处理类别不平衡问题。可以是一个字典，键为类别索引，值为对应的权重。
  • sample_weight：样本权重，用于处理样本不平衡问题。可以是一个与训练数据长度相同的数组。
  • initial_epoch：开始训练的初始 epoch。用于恢复中断的训练。
  • steps_per_epoch：每个 epoch 的训练步骤数。当使用 TensorFlow 数据集时，默认情况下会遍历整个数据集。如果数据集很大，可以使用 steps_per_epoch 来限制每个 epoch 的训练步骤数。
  • validation_steps：验证步骤数。类似于 steps_per_epoch，用于限制验证数据集的遍历次数。
  • callbacks：回调函数列表，用于在训练过程中执行特定的操作，如保存模型、调整学习率、记录日志等。
model.fit(
    x = train_images,   # 训练集数据
    y = train_labels,   # 训练集标签
    epochs = 10,        # 训练轮次
    validation_data = (test_images, test_labels)
)

Epoch 1/10
1875/1875 [==============================] - 17s 9ms/step - loss: 0.1485 - accuracy: 0.9548 - val_loss: 0.0455 - val_accuracy: 0.9854
Epoch 2/10
1875/1875 [==============================] - 17s 9ms/step - loss: 0.0489 - accuracy: 0.9850 - val_loss: 0.0390 - val_accuracy: 0.9876
Epoch 3/10
1875/1875 [==============================] - 16s 9ms/step - loss: 0.0350 - accuracy: 0.9892 - val_loss: 0.0396 - val_accuracy: 0.9858
Epoch 4/10
1875/1875 [==============================] - 16s 9ms/step - loss: 0.0252 - accuracy: 0.9919 - val_loss: 0.0292 - val_accuracy: 0.9906
Epoch 5/10
1875/1875 [==============================] - 15s 8ms/step - loss: 0.0187 - accuracy: 0.9940 - val_loss: 0.0278 - val_accuracy: 0.9908
Epoch 6/10
1875/1875 [==============================] - 18s 10ms/step - loss: 0.0140 - accuracy: 0.9957 - val_loss: 0.0315 - val_accuracy: 0.9905
Epoch 7/10
1875/1875 [==============================] - 16s 9ms/step - loss: 0.0108 - accuracy: 0.9964 - val_loss: 0.0361 - val_accuracy: 0.9899
Epoch 8/10
1875/1875 [==============================] - 16s 8ms/step - loss: 0.0099 - accuracy: 0.9966 - val_loss: 0.0327 - val_accuracy: 0.9905
Epoch 9/10
1875/1875 [==============================] - 15s 8ms/step - loss: 0.0079 - accuracy: 0.9976 - val_loss: 0.0353 - val_accuracy: 0.9905
Epoch 10/10
1875/1875 [==============================] - 17s 9ms/step - loss: 0.0072 - accuracy: 0.9977 - val_loss: 0.0349 - val_accuracy: 0.9911

5、预测

model.predict是tensorflow用于预测的API，输出所述类别的概率

# 测试集中第一张图片数据
plt.imshow(test_images[1])

​
在这里插入图片描述

​

  • 第一张为数字2
# 测试集预测
pre = model.predict(test_images)
# 输出所属类别概率
pre[1]

输出概率：

array([  4.0634604,  -1.2556026,  25.725822 , -12.4212475,  -8.13141  ,
       -17.905268 ,   2.7954185,  -2.617863 ,  -4.929763 , -12.776581 ],
      dtype=float32)

上述输出分别是：属于数字0-9的概率
分析

  • 属于数字2的类别概率最大，且远超其他，故，他预测结果是数字2
羊小猪~~
关注
专栏目录
AIGC从入门到实战：远近高低各不同：Transformer 和预训练模型是什么？
AI天才研究院
06-19 958
1. 背景介绍 近年来，随着人工智能技术的快速发展，AIGC（人工智能生成内容）已经成为了一个热门的话题。Transformer 和预训练模型是 AIGC 中的两个重要概念，它们对于理解和应用 AIGC 技术具有重要意义。本文将介绍 Transformer 和预训练模型的基本概念、工作原理、应用场景以及未来的发展趋势。
TensorFlow2.0教程-使用tf.function和AutoGraph提高代码性能
知行_那片天
07-07 1万+
TensorFlow2教程-TF fuction和AutoGraph 要获得最佳性能并使模型可在任何地方部署，请使用tf.function从程序中构建图。 因为有AutoGraph，可以使用tf.function构建高效性能的Python代码，但仍有一些陷阱需要警惕。 今天我们就来介绍一下tensorflow2.0中的TF fuction和AutoGraph
4.3 TensorFlow快速入门模型
qq_40066957的博客
05-07 238
4.3 TensorFlow快速入门模型 学习目标 目标 模型的构建：tf.keras.Model和tf.keras.layers 模型的损失函数：tf.keras.losses 模型的优化器：tf.keras.optimizer 模型的评估：tf.keras.metrics 应用 无 ...
tensorflow+入门笔记︱基本张量tensor理解与tensorflow运行结构与相关报错
热门推荐
素质云笔记
01-22 1万+
Gokula Krishnan Santhanam认为，大部分深度学习框架都包含以下五个核心组件： 张量（Tensor） 基于张量的各种操作 计算图（Computation Graph） 自动微分（Automatic Differentiation）工具 BLAS、cuBLAS、cuDNN等拓展包 . .一、张量的理解 本节主要参考自文章《开发丨深度学习框
计算机视觉（九）：TensorFlow快速入门模型
GeniusAng的博客
10-20 696
TensorFlow快速入门模型
基本张量tensor理解与tensorflow运行结构
顺其自然~专栏
02-14 988
Gokula Krishnan Santhanam认为，大部分深度学习框架都包含以下五个核心组件： 张量（Tensor） 基于张量的各种操作 计算图（Computation Graph） 自动微分（Automatic Differentiation）工具 BLAS、cuBLAS、cuDNN等拓展包 .. 一、张量的理解 本节主要参考自文章《开发丨深度学习框架太抽象？其实不外乎...
tensorflow入门
cloudless_sky的博客
06-13 2028
tensorflow的安装以及入门
tensorflow+小白入门笔记︱基本张量tensor理解与tensorflow运行结构
机器猫-丁的博客
07-08 1022
Gokula Krishnan Santhanam认为，大部分深度学习框架都包含以下五个核心组件：张量（Tensor）基于张量的各种操作计算图（Computation Graph）自动微分（Automatic Differentiation）工具BLAS、cuBLAS、cuDNN等拓展包. Gokula Krishnan SanthanamETH Zurich | ETH Zürich · Dep...
TensorFlow深度学习-龙曲良-学习笔记2
HELLOWORLD2424的博客
02-27 1329
10. 卷积神经网络 10.1 卷积的定义 每次通过移动卷积核，并与图片对应位置处的感受野像素相乘累加，得到此位置的输出值。卷积核即是行、列为????大小的权值矩阵????，对应到特征图上大小为????的窗口即为感受野，感受野与权值矩阵????相乘累加，得到此位置的输出值. 注意: 输入的每个通道处的感受野均与卷积核的对应通道相乘累加，得到与通道数量相等的中间变量，这些中间变量全部相加即得到当前位置的输出值。输入通道的通道数量决定了卷积核的通道数。一个卷积核只能得到一个输出矩阵，无论输入????的通道数量。
Python-快速和分布式TensorFlow命令框架来在多台计算机上训练和评估模型
08-10
描述中提到的“快速和分布式”是指利用TensorFlow的特性，如数据并行和模型并行，可以在多个GPU或CPU上同时处理计算任务，从而实现模型训练速度的显著提升。此外，分布式训练还能使不同计算节点之间的通信优化，确保...
tensorflow-docs：最新TensorFlow中文文档（持续更新中）
02-05
在模型训练过程中，**变量（Variables）** 用于存储可变状态，如权重和偏置。它们可以在会话中创建、初始化和更新。 **4. 模型构建** TensorFlow提供多种模型构建工具，如**Estimators** 和**Keras API**。...
tf-mnist：Tensorflow MNIST
02-08
1. **TensorFlow基础知识**：了解TensorFlow的基本概念，如张量、会话、图模型等，以及如何定义、初始化和操作张量。 2. **MNIST数据预处理**：理解如何加载MNIST数据集，进行数据预处理，如归一化、reshape等，...
CSS计数器
2401_82561004的博客
10-04 950
CSS 中的计数器类似于变量，可以实现简单的计数功能，并将结果显示在页面上，在早期的网站上应用比较广泛。下面我们就来看一下 CSS 中的计数器是如何使用的。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
最新发布
阿利同学的博客
10-07 602
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1351
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1539
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 1237
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1454
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值