2024年深度学习（二）—— TensorFlow入门，2024年最新系列篇

最新推荐文章于 2025-03-25 20:14:31 发布
最新推荐文章于 2025-03-25 20:14:31 发布
阅读量1k 收藏 12
点赞数 11
分类专栏： 程序员 文章标签： 深度学习 tensorflow 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84185106/article/details/138476768
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在这里插入图片描述

3.2 常用方法

深度学习实现的主要流程：

  1. 数据获取
  2. 数据处理
  3. 模型创建与训练
  4. 模型测试与评估
  5. 模型预测

（1）导入tf.keras

使用 tf.keras，首先需要在代码开始时导入tf.keras

import tensorflow as tf
from tensorflow import keras

（2）数据输入

对于小的数据集，可以直接使用 numpy 格式的数据进行训练、评估模型，对于大型数据集或者要进行跨设备训练时使用 tf.data.datasets 来进行数据输入。

（3）模型构建

  • 简单模型使用 Sequential 进行构建
  • 复杂模型使用函数式编程来构建
  • 自定义layers

（4）训练与评估

  • 配置训练过程
# 配置优化方法，损失函数和评价指标
model.compile(optimizer=tf.train.AdamOptimizer(0.001),
              loss='categorical\_crossentropy',
              metrics=['accuracy'])
  • 模型训练
# 指明训练数据集，训练epoch,批次大小和验证集数据
model.fit/fit_generator(dataset, epochs=10, 
                        batch_size=3,
          validation_data=val_dataset,
          )
  • 模型评估
# 指明评估数据集和批次大小
model.evaluate(x, y, batch_size=32)
  • 模型预测
# 对新的样本进行预测
model.predict(x, batch_size=32)

（5）回调函数（callbacks）

回调函数用在模型训练过程中，来控制模型训练行为，可以自定义回调函数，也可使用tf.keras.callbacks 内置的 callback ：

  • ModelCheckpoint：定期保存 checkpoints。
  • LearningRateScheduler：动态改变学习速率。
  • EarlyStopping：当验证集上的性能不再提高时，终止训练。
  • TensorBoard：使用 TensorBoard 监测模型的状态。

（6）模型的保存和恢复

  • 只保存参数
# 只保存模型的权重
model.save_weights('./my\_model')
# 加载模型的权重
model.load_weights('my\_model')
  • 保存整个模型
# 保存模型架构与权重在h5文件中
model.save('my\_model.h5')
# 加载模型：包括架构和对应的权重
model = keras.models.load_model('my\_model.h5')

3.3 模型入门案例

  1. 模块导入
# # 导入其他相关的库
# 绘图，获取数据集
import seaborn as sns
# 数值计算
import numpy as np

# 机器学习
# 划分训练集和测试集
from sklearn.model_selection import train_test_split
# 逻辑回归
from sklearn.linear_model import LogisticRegressionCV

# 深度学习
# 用于模型搭建
from tensorflow.keras.models import Sequential
# 构建模型的层和激活方法
from tensorflow.keras.layers import Dense, Activation
# 数据处理的辅助工具
from tensorflow.keras import utils

注意：LogisticRegression和LogisticRegressionCV的主要区别是LogisticRegressionCV使用了交叉验证来选择正则化系数C。而LogisticRegression需要自己每次指定一个正则化系数。除了交叉验证，以及选择正则化系数C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同。

  1. 数据集处理

（1）获取数据集

iris = sns.load_dataset("iris")
# print(type(iris)) pandas.core.frame.DataFrame
iris.head()

在这里插入图片描述

注：

  • 我们常用 sklearn.datasets 的 load_*() 获取数据集，返回 Bunch 对象
  • seaborn 库内置了十几个数据集，也可以获取数据集，返回数据集的类型为 DataFrame

以下为拓展，本例中仍使用 seaborn 获取的数据集

from sklearn.datasets import load_iris
import pandas as pd

iris = load_iris()
type(iris) # sklearn.utils.\_bunch.Bunch
# print(dir(iris)) # 查看data所具有的属性或方法
# print(iris.DESCR) # 查看数据集的简介
iris = pd.DataFrame(data=iris.data,columns=iris.feature_names)
iris.head()

在这里插入图片描述

可以注意到使用 sklearn 中的鸢尾花数据集没有标签值

（2）数据展示

另外，利用 seaborn 中 pairplot 函数探索数据特征间的关系：

# sns.pairplot()用来展示两两特征之间的关系
# hue 针对某一字段进行分类 ,不同类别的点会以不同的颜色显现出来
sns.pairplot(iris,hue="species")

在这里插入图片描述
（3）数据集划分

# 确定特征值和目标值

# X = iris.iloc[:, :4]
# y = iris.iloc[:, 4]
# type(X),type(y) # (pandas.core.frame.DataFrame, pandas.core.series.Series)

X = iris.values[:, :4]
y = iris.values[:, 4]
# type(X),type(y) # (numpy.ndarray, numpy.ndarray)

# 数据集的划分
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.5,random_state=0) # 返回numpy.ndarray类型数据
  1. sklearn 实现
# 实例化分类器
estimator = LogisticRegressionCV()
# 训练
estimator.fit(X_train, y_train)
# 计算准确率并进行打印
print("Accuracy = {0:.2f}".format(estimator.score(X_test, y_test)))  # 冒号左侧的0表示对应参数的索引，此处只有一个参数0可省略
# 0.93

注意：

  • LogisticRegression和LogisticRegressionCV的主要区别是LogisticRegressionCV使用了交叉验证来选择正则化系数C。而LogisticRegression需要自己每次指定一个正则化系数。除了交叉验证，以及选择正则化系数C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同。
  1. Keras 实现

在sklearn中我们只要实例化分类器并利用fit方法进行训练，最后衡量它的性能就可以了，那在tf.keras中与在sklearn非常相似，不同的是：

  • 构建分类器时需要进行模型搭建（分类器需要自己去构建）
  • 数据采集时，sklearn可以接收字符串型的标签，如：“setosa”，但是在 tf.keras 中需要对标签值进行热编码，如下所示：
    在这里插入图片描述
    （1）对标签值热编码

有很多方法可以实现热编码，比如 pandas 中的 get_dummies() ，在这里我们使用 tf.keras 中的方法进行热编码：

def onehot\_encode\_object\_array(arr):
    # 去重获取全部的类别
    # return\_inverse为True时：会构建一个递增的唯一值的新列表，并返回旧列表arr中的值在新列表uniques中的索引列表ids
    uniques, ids = np.unique(arr, return_inverse=True) 
    # 返回热编码的结果
    return utils.to_categorical(ids, len(uniques))
    
# 训练集热编码
y_train_onehot = onehot_encode_object_array(y_train)
# 测试集热编码
y_test_onehot = onehot_encode_object_array(y_test)

注意：

  • np.unique 将数组中的元素进行去重操作，详见：https://blog.csdn.net/Hhjnv/article/details/122916912
  • to_categorical() 用于分类，将标签转为one-hot编码，详见：https://blog.csdn.net/nima1994/article/details/82468965

（2）模型搭建

在 sklearn中，模型都是现成的。
而 tf.Keras 是一个神经网络库，我们需要根据数据和标签值构建神经网络，神经网络可以发现特征与标签之间的复杂关系。

神经网络是一个高度结构化的图，其中包含一个或多个隐藏层，每个隐藏层都包含一个或多个神经元。

神经网络有多种类别，该程序使用的是 密集型神经网络，也称为 全连接神经网络：一个层中的神经元将从上一层中的每个神经元获取输入连接。例如，下图显示了一个密集型神经网络，其中包含 1 个输入层、2 个隐藏层以及 1 个输出层

在这里插入图片描述

上图 中的模型经过训练并馈送未标记的样本时，它会产生 3 个预测结果：相应鸢尾花属于指定品种的可能性。对于该示例，输出预测结果的总和是 1.0。该预测结果分解如下：山鸢尾为 0.02，变色鸢尾为 0.95，维吉尼亚鸢尾为 0.03。这意味着该模型预测某个无标签鸢尾花样本是变色鸢尾的概率为 95％。

与上一层完全连接的隐藏层称为 密集层。在图中，两个隐藏层都是密集的。

TensorFlow tf.keras API 是创建模型和层的首选方式。通过该 API，可以轻松地构建模型并进行实验，而将所有部分连接在一起的复杂工作则由 Keras 处理。

tf.keras.Sequential 模型是层的线性堆叠。该模型的构造函数会采用一系列层实例；在本示例中，采用的是 2 个密集层（分别包含 10 个节点）以及 1 个输出层（包含 3 个代表标签预测的节点）。第一个层的 input_shape 参数对应该数据集中的 特征数量：

# 利用sequential方式构建模型
model = Sequential([
  # 隐藏层1，激活函数是relu,输入大小有input\_shape指定
  Dense(10, activation="relu", input_shape=(4,)),  
  # 隐藏层2，激活函数是relu
  Dense(10, activation="relu"),
  # 输出层
  Dense(3, activation="softmax")
])


# 将搭建的神经网络用流程图表示出来
utils.plot_model(model,show_shapes=True)

在这里插入图片描述

# 查看模型结构
model.summary()

在这里插入图片描述

激活函数可决定层中每个节点的输出形状。这些非线性关系很重要，如果没有它们，模型将等同于单个层。激活函数有很多，但隐藏层通常使用 relu 。

隐藏层和神经元的理想数量取决于问题和数据集。与机器学习的多个方面一样，选择最佳的神经网络形状需要一定的知识水平和实验基础。一般来说，增加隐藏层和神经元的数量通常会产生更强大的模型，而这需要更多数据才能有效地进行训练。

对于每一个神经元都有 bias 参数和 weight 参数 ，因为有 4 个输入特征值，所以每个神经元有 4 个weight，10 个神经元就有 40 个weight，每个神经元又有1个 bias ，10 个神经元就有10 个 bias ，所以隐藏层1有 50 个参数。隐藏层 2 和输出层参数以此类推。

（3）模型训练和预测

在训练和评估阶段，我们都需要计算模型的损失。这样可以衡量模型的预测结果与预期标签有多大偏差，也就是说，模型的效果有多差。
我们希望尽可能减小或优化这个值，所以我们设置优化策略和损失函数，以及模型精度的计算方法：

# 设置模型的相关参数：优化器，损失函数（交叉熵损失函数）和评价指标（可以有多个）
model.compile(optimizer='adam', loss='categorical\_crossentropy', metrics=["accuracy"])

可知，数组元素的数据类型为：dtype(‘O’)，即(Python) objects

X_train.dtype # dtype('O')
X_test.dtype # dtype('O')

我们需要将训练集和测试集的特征值进行数据类型转换：

X_train = np.array(X_train,dtype = np.float32)


![img](https://img-blog.csdnimg.cn/img_convert/ba7f42931a848117d5f5ae6c5d4d7fb9.png)
![img](https://img-blog.csdnimg.cn/img_convert/1725c7eb05237be62a1d624afcdff3d1.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

 # dtype('O')
X_test.dtype # dtype('O')

我们需要将训练集和测试集的特征值进行数据类型转换：

X_train = np.array(X_train,dtype = np.float32)


[外链图片转存中...(img-bPGPjc9V-1714922416128)]
[外链图片转存中...(img-pF4Kve59-1714922416129)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
Tensorflow
嵌入式技术
01-29 301
官网下载安装Anaconda 安装Tensorflow 运行终端 #检查一下Anaconda的版本和Python的版本 conda --version python--version #查看一下Anaconda里的信息 conda info --envs #创建Python 3.7版本下的Tensorflow的环境 conda create -n tensorfow python=3.7 #安装Tensorflow pip install tensorflow==2.4.0 --default-timeo
2024年深度学习（二）—— TensorFlow入门，2024BTAJ面试真题详解
2401_84181403的博客
05-14 651
深度学习框架 TensorFlow 一经发布，就受到了广泛的关注，并在计算机视觉、音频处理、推荐系统和自然语言处理等场景下都被大面积推广使用。TensorFlow的依赖视图TF托管在github平台，有google groups和contributors共同维护。TF提供了丰富的深度学习相关的API，支持Python和C/C++接口。TF提供了可视化分析工具Tensorboard，方便分析和调整模型。TF支持Linux平台，Windows平台，Mac平台，甚至手机移动设备等各种平台。
TensorFlow学习
WX_Chen的博客
10-09 247
桌面云上tensorflow1.2，linux服务器上tensorflow1.4 说明文档 https://www.tensorflow.org/get_started/?hl=zh-cn windows下安装 pip install tensorflow  来自 <https://blog.csdn.net/zhuzhishi2042/article/details/72888312&...
【深度学习基础 1】 TensorFlow 框架
最新发布
yewanyuan的博客
03-25 1737
TensorFlow 是 Google 开发的一个开源机器学习和深度学习框架，广泛用于构建和训练神经网络。它支持 CPU、GPU 和 TPU 加速计算，并且提供了灵活的 API 以适应研究和生产环境。高效的数值计算：基于数据流图（DataFlow Graph）进行计算。灵活的模型构建：支持 高级 API 进行快速建模。跨平台支持：可在 CPU、GPU、TPU、移动设备和云端运行。自动微分：方便进行梯度计算和优化。丰富的生态系统：包括 TensorBoard（可视化工具）、TF-Serving（模型部署）等
tensorflow学习
无左无右的博客
12-19 191
import tensorflow as tf labels = [[0,0,1],[0,1,0]] logits = [[2, 0.5,6], [0.1,0, 3]] logits_scaled = tf.nn.softmax(logits) logits_scaled2 = tf.nn.softmax(logits_scaled) result1 =...
Tensorflow学习
qq_42902997的博客
11-07 528
Tensorflow 学习 1.tensorflow本身运算是张量，没有具体的值 2.tensorflow 可以用Session来将张量变成具体的数值 tf.constant() 用来产生具体的数字或者向量 相应的： tf.Variable() 是程序产生相应的矩阵变量 tf.Session.run() session 用来执行定义好的运算并管理运行时的所有资源 sess = tf.Se...
2024年大数据最新深度学习（二）—— TensorFlow入门(3)，我了解到的面试的一些小内幕
2401_84616027的博客
05-05 1037
[在这里插入图片描述](https://img-blog.csdnimg.cn/09874700435c4f2d947410ce99cdfda0.png)> 可以注意到使用 sklearn 中的鸢尾花数据集没有标签值（2）数据展示。
2024年大数据最全深度学习（二）—— TensorFlow入门(1)，2024年最新膜拜大佬
2401_84182578的博客
05-13 943
tf.keras 是TensorFlow 2.0的高阶API接口，为 TensorFlow 的代码提供了新的风格和设计模式，大大提升了TF代码的简洁性和复用性，官方也推荐使用 tf.keras 来进行模型设计和开发。
跟着深度学习好书实践tensorflow神经网络
通达的博客
10-11 1323
1986年辛顿与 David Ackley 和 Terry Sejnowski 共同发明了玻尔兹曼机，有关反向传播算法和波尔兹曼机的两篇重要文章，研究者们兴趣盎然，他们凭借自身的信念，排除嘈杂的干扰而自得其乐，江湖貌似平静但暗流涌动，为人工智能春天之到来做好了准备。正是应了一句名言：“大隐隐于市”。
tensorflow2深度学习从入门到精通第四章—TensorFlow 基础
2401_84097883的博客
04-20 976
点击这里即可免费获取，包括答案解析。本节我们将利用我们已经学到的知识去完成三层神经网络的实现：我们采用的数据集是 MNIST 手写数字图片集，输入节点数为 784，第一层的输出节点数是256，第二层的输出节点数是 128，第三层的输出节点是 10，也就是当前样本属于 10 类别的概率。首先创建每个非线性函数的 w,b 参数张量：在前向计算时，首先将 shape 为[b,28,28]的输入数据 Reshape 为[b,784] 即 [b, 28, 28] => [b, 28*28]
机器学习库TensorFlow 入门
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-02 313
1.概念 TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief[1]。 Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域...
tensorflow学习（tensorflow入门与基本使用）
沉晨尘宸的博客
12-12 508
tensorflow入门与基本使用计算图（computation graphy） 计算图（computation graphy） 计算图是由一个个节点和连接各个节点的边组成，因此要定义一个计算图，只需要定义好各个节点以及节点的输入输出（对应计算图的边）。节点代表各种操作，如加法、乘法、卷积运算等等，输入输出主要是各种数据（tensor）。 import tensorflow as tf # Create a Constant op that produces a 1x2 matrix. 创建产生1x2矩
TensorFlow基础学习
weixin_44079186的博客
10-18 641
一、基本概念 除了PyTorch外另一个非常广泛的深度学习框架。 Tensor:张量+Flow:流，采用数据流图进行数字计算的开源软件库。 基本原理是基于图运算，可以将一个计算图划分为多个子图，然后在多个CPU或者GPU上并行执行。此外TensorFlow还支持分布式计算，可以在合理的时间内在数百台服务器上进行分割计算，在大训练集上训练巨大的神经网络。 二、安装 三、张量 张量的创建 张量的数学运算 四、数据流图 五、会话 六、线性回归的TensorFlow实现 七、TensorBoard ..
TensorFlow学习（1）——基础知识
一名研究牲的自我救赎
11-07 896
TensorFlow学习笔记
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值