网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
TensorFlow学习笔记
1 TensorFlow 简介
深度学习框架 TensorFlow 一经发布,就受到了广泛的关注,并在计算机视觉、音频处理、推荐系统和自然语言处理等场景下都被大面积推广使用。
TensorFlow的 依赖视图 如下所示:
- TF托管在github平台,有google groups和contributors共同维护。
- TF提供了丰富的深度学习相关的API,支持Python和C/C++接口。
- TF提供了可视化分析工具Tensorboard,方便分析和调整模型。
- TF支持Linux平台,Windows平台,Mac平台,甚至手机移动设备等各种平台。
工作流程 如下所示:
- 加载数据。 使用tf.data实例化读取训练数据和测试数据
- 模型的建立与调试。使用动态图模式 Eager Execution 和著名的神经网络高层 API 框架 Keras,结合可视化工具 TensorBoard,简易、快速地建立和调试模型;
- 模型的训练。支持 CPU / 单 GPU / 单机多卡 GPU / 多机集群 / TPU 训练模型,充分利用海量数据和计算资源进行高效训练;
- 预训练模型调用。通过 TensorFlow Hub,可以方便地调用预训练完毕的已有成熟模型。
- 模型的部署。通过 TensorFlow Serving、TensorFlow Lite、TensorFlow.js 等组件,可以将TensorFlow 模型部署到服务器、移动端、嵌入式端等多种使用场景;
2 张量及其操作
2.1 张量的定义
张量是一个多维数组。 与 NumPy ndarray 对象类似,tf.Tensor 对象也具有数据类型和形状。如下图所示:
2.2 创建张量
(1)常量
import tensorflow as tf
# 创建int32类型的0维张量,即标量
tensor1 = tf.constant(1)
print(tensor1)
# tf.Tensor(1, shape=(), dtype=int32)
# 创建float32类型的1维张量
tensor2 = tf.constant([2.0, 3.0, 4.0])
print(tensor2)
# tf.Tensor([2. 3. 4.], shape=(3,), dtype=float32)
# 创建float16类型的二维张量
tensor3 = tf.constant([[1, 2],
[3, 4],
[5, 6]], dtype=tf.float16)
print(tensor3)
# tf.Tensor(
# [[1. 2.]
# [3. 4.]
# [5. 6.]], shape=(3, 2), dtype=float16)
整型默认是 int32,浮点型默认是 float32
(2)变量
变量是一种特殊的张量,形状是不可变,但可以更改其中的参数。
定义时的方法是:
my_variable = tf.Variable([[1.0, 2.0], [3.0, 4.0]])
我们也可以获取它的形状,类型及转换为ndarray:
print("Shape: ",my_variable.shape)
print("DType: ",my_variable.dtype)
print("As NumPy: ", my_variable.numpy)
改变其数值(需注意形状必须保持一致):
my_variable.assign([[3,4],[5,6]])
2.3 转换成 numpy
我们可将张量转换为 numpy 中的 ndarray 的形式,转换方法有两种,以张量 tensor2 为例:
np.array
np.array(tensor2)
# array([2., 3., 4.], dtype=float32)
Tensor.numpy()
tensor2.numpy()
# array([2., 3., 4.], dtype=float32)
2.4 常用函数
我们可以对张量做一些基本的数学运算,包括加法、元素乘法和矩阵乘法等
# 定义张量a和b
a = tf.constant([[1, 2],
[3, 4]])
b = tf.constant([[1, 1],
[1, 1]])
tf.add(a,b)
计算张量的和tf.multiply(a,b)
计算张量的元素乘法tf.matmul(a,b)
计算矩阵乘法
c = tf.constant([[4.0, 5.0], [10.0, 1.0]])
tf.reduce_sum(c)
求和tf.reduce_mean(c)
平均值tf.reduce_max(c)
最大值tf.reduce_min(c)
最小值tf.argmax(c)
最大值的索引tf.argmin(c)
最小值的索引
3 tf.keras介绍
tf.keras 是TensorFlow 2.0的高阶API接口,为 TensorFlow 的代码提供了新的风格和设计模式,大大提升了TF代码的简洁性和复用性,官方也推荐使用 tf.keras 来进行模型设计和开发。
3.1 常用模块
3.2 常用方法
深度学习实现的主要流程:
- 数据获取
- 数据处理
- 模型创建与训练
- 模型测试与评估
- 模型预测
(1)导入tf.keras
使用 tf.keras
,首先需要在代码开始时导入tf.keras
import tensorflow as tf
from tensorflow import keras
(2)数据输入
对于小的数据集,可以直接使用 numpy
格式的数据进行训练、评估模型,对于大型数据集或者要进行跨设备训练时使用 tf.data.datasets
来进行数据输入。
(3)模型构建
- 简单模型使用
Sequential
进行构建 - 复杂模型使用函数式编程来构建
- 自定义layers
(4)训练与评估
- 配置训练过程
# 配置优化方法,损失函数和评价指标
model.compile(optimizer=tf.train.AdamOptimizer(0.001),
loss='categorical\_crossentropy',
metrics=['accuracy'])
- 模型训练
# 指明训练数据集,训练epoch,批次大小和验证集数据
model.fit/fit_generator(dataset, epochs=10,
batch_size=3,
validation_data=val_dataset,
)
- 模型评估
# 指明评估数据集和批次大小
model.evaluate(x, y, batch_size=32)
- 模型预测
# 对新的样本进行预测
model.predict(x, batch_size=32)
(5)回调函数(callbacks)
回调函数用在模型训练过程中,来控制模型训练行为,可以自定义回调函数,也可使用tf.keras.callbacks
内置的 callback
:
ModelCheckpoint
:定期保存 checkpoints。LearningRateScheduler
:动态改变学习速率。EarlyStopping
:当验证集上的性能不再提高时,终止训练。TensorBoard
:使用 TensorBoard 监测模型的状态。
(6)模型的保存和恢复
- 只保存参数
# 只保存模型的权重
model.save_weights('./my\_model')
# 加载模型的权重
model.load_weights('my\_model')
- 保存整个模型
# 保存模型架构与权重在h5文件中
model.save('my\_model.h5')
# 加载模型:包括架构和对应的权重
model = keras.models.load_model('my\_model.h5')
3.3 模型入门案例
- 模块导入
# # 导入其他相关的库
# 绘图,获取数据集
import seaborn as sns
# 数值计算
import numpy as np
# 机器学习
# 划分训练集和测试集
from sklearn.model_selection import train_test_split
# 逻辑回归
from sklearn.linear_model import LogisticRegressionCV
# 深度学习
# 用于模型搭建
from tensorflow.keras.models import Sequential
# 构建模型的层和激活方法
from tensorflow.keras.layers import Dense, Activation
# 数据处理的辅助工具
from tensorflow.keras import utils
注意:LogisticRegression和LogisticRegressionCV的主要区别是LogisticRegressionCV使用了交叉验证来选择正则化系数C。而LogisticRegression需要自己每次指定一个正则化系数。除了交叉验证,以及选择正则化系数C以外, LogisticRegression和LogisticRegressionCV的使用方法基本相同。
- 数据集处理
(1)获取数据集
iris = sns.load_dataset("iris")
# print(type(iris)) pandas.core.frame.DataFrame
iris.head()
注:
- 我们常用 sklearn.datasets 的 load_*() 获取数据集,返回 Bunch 对象
- seaborn 库内置了十几个数据集,也可以获取数据集,返回数据集的类型为 DataFrame
以下为拓展,本例中仍使用 seaborn 获取的数据集
from sklearn.datasets import load_iris
import pandas as pd
iris = load_iris()
type(iris) # sklearn.utils.\_bunch.Bunch
# print(dir(iris)) # 查看data所具有的属性或方法
# print(iris.DESCR) # 查看数据集的简介
iris = pd.DataFrame(data=iris.data,columns=iris.feature_names)
iris.head()
可以注意到使用 sklearn 中的鸢尾花数据集没有标签值
(2)数据展示
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
.csdnimg.cn/09874700435c4f2d947410ce99cdfda0.png)
可以注意到使用 sklearn 中的鸢尾花数据集没有标签值
(2)数据展示
[外链图片转存中…(img-srEzLg4n-1715663440106)]
[外链图片转存中…(img-Yzzq4INc-1715663440106)]
[外链图片转存中…(img-dvUhtXfa-1715663440106)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新