既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
我们也可以获取它的形状，类型及转换为ndarray:
print("Shape: ",my_variable.shape)
print("DType: ",my_variable.dtype)
print("As NumPy: ", my_variable.numpy)
改变其数值（需注意形状必须保持一致）：
my_variable.assign([[3,4],[5,6]])
2.3 转换成 numpy
我们可将张量转换为 numpy 中的 ndarray 的形式，转换方法有两种，以张量 tensor2 为例：
np.array
np.array(tensor2)
# array([2., 3., 4.], dtype=float32)
Tensor.numpy()
tensor2.numpy()
# array([2., 3., 4.], dtype=float32)
2.4 常用函数
我们可以对张量做一些基本的数学运算，包括加法、元素乘法和矩阵乘法等
# 定义张量a和b
a = tf.constant([[1, 2],
[3, 4]])
b = tf.constant([[1, 1],
[1, 1]])
tf.add(a,b)计算张量的和tf.multiply(a,b)计算张量的元素乘法tf.matmul(a,b)计算矩阵乘法
c = tf.constant([[4.0, 5.0], [10.0, 1.0]])
tf.reduce_sum(c)求和tf.reduce_mean(c)平均值tf.reduce_max(c)最大值tf.reduce_min(c)最小值tf.argmax(c)最大值的索引tf.argmin(c)最小值的索引
3 tf.keras介绍
tf.keras 是TensorFlow 2.0的高阶API接口，为 TensorFlow 的代码提供了新的风格和设计模式，大大提升了TF代码的简洁性和复用性，官方也推荐使用 tf.keras 来进行模型设计和开发。
3.1 常用模块
3.2 常用方法
深度学习实现的主要流程：
- 数据获取
- 数据处理
- 模型创建与训练
- 模型测试与评估
- 模型预测
（1）导入tf.keras
使用 tf.keras，首先需要在代码开始时导入tf.keras
import tensorflow as tf
from tensorflow import keras
（2）数据输入
对于小的数据集，可以直接使用 numpy 格式的数据进行训练、评估模型，对于大型数据集或者要进行跨设备训练时使用 tf.data.datasets 来进行数据输入。
（3）模型构建
- 简单模型使用
Sequential进行构建 - 复杂模型使用函数式编程来构建
- 自定义layers
（4）训练与评估
- 配置训练过程
# 配置优化方法，损失函数和评价指标
model.compile(optimizer=tf.train.AdamOptimizer(0.001),
loss='categorical\_crossentropy',
metrics=['accuracy'])
- 模型训练
# 指明训练数据集，训练epoch,批次大小和验证集数据
model.fit/fit_generator(dataset, epochs=10,
batch_size=3,
validation_data=val_dataset,
)
- 模型评估
# 指明评估数据集和批次大小
model.evaluate(x, y, batch_size=32)
- 模型预测
# 对新的样本进行预测
model.predict(x, batch_size=32)
（5）回调函数（callbacks）
回调函数用在模型训练过程中，来控制模型训练行为，可以自定义回调函数，也可使用tf.keras.callbacks 内置的 callback ：
ModelCheckpoint：定期保存 checkpoints。LearningRateScheduler：动态改变学习速率。EarlyStopping：当验证集上的性能不再提高时，终止训练。TensorBoard：使用 TensorBoard 监测模型的状态。
（6）模型的保存和恢复
- 只保存参数
# 只保存模型的权重
model.save_weights('./my\_model')
# 加载模型的权重
model.load_weights('my\_model')
- 保存整个模型
# 保存模型架构与权重在h5文件中
model.save('my\_model.h5')
# 加载模型：包括架构和对应的权重
model = keras.models.load_model('my\_model.h5')
3.3 模型入门案例
- 模块导入
# # 导入其他相关的库
# 绘图，获取数据集
import seaborn as sns
# 数值计算
import numpy as np
# 机器学习
# 划分训练集和测试集
from sklearn.model_selection import train_test_split
# 逻辑回归
from sklearn.linear_model import LogisticRegressionCV
# 深度学习
# 用于模型搭建
from tensorflow.keras.models import Sequential
# 构建模型的层和激活方法
from tensorflow.keras.layers import Dense, Activation
# 数据处理的辅助工具
from tensorflow.keras import utils
注意：LogisticRegression和LogisticRegressionCV的主要区别是LogisticRegressionCV使用了交叉验证来选择正则化系数C。而LogisticRegression需要自己每次指定一个正则化系数。除了交叉验证，以及选择正则化系数C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同。
- 数据集处理
（1）获取数据集
iris = sns.load_dataset("iris")
# print(type(iris)) pandas.core.frame.DataFrame
iris.head()
注：
- 我们常用 sklearn.datasets 的 load_*() 获取数据集，返回 Bunch 对象
- seaborn 库内置了十几个数据集，也可以获取数据集，返回数据集的类型为 DataFrame
以下为拓展，本例中仍使用 seaborn 获取的数据集
from sklearn.datasets import load_iris
import pandas as pd
iris = load_iris()
type(iris) # sklearn.utils.\_bunch.Bunch
# print(dir(iris)) # 查看data所具有的属性或方法
# print(iris.DESCR) # 查看数据集的简介
iris = pd.DataFrame(data=iris.data,columns=iris.feature_names)
iris.head()
可以注意到使用 sklearn 中的鸢尾花数据集没有标签值
（2）数据展示
另外，利用 seaborn 中 pairplot 函数探索数据特征间的关系：
# sns.pairplot()用来展示两两特征之间的关系
# hue 针对某一字段进行分类 ,不同类别的点会以不同的颜色显现出来
sns.pairplot(iris,hue="species")
（3）数据集划分
# 确定特征值和目标值
# X = iris.iloc[:, :4]
# y = iris.iloc[:, 4]
# type(X),type(y) # (pandas.core.frame.DataFrame, pandas.core.series.Series)
X = iris.values[:, :4]
y = iris.values[:, 4]
# type(X),type(y) # (numpy.ndarray, numpy.ndarray)
# 数据集的划分
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.5,random_state=0) # 返回numpy.ndarray类型数据
- sklearn 实现
# 实例化分类器
estimator = LogisticRegressionCV()
# 训练
estimator.fit(X_train, y_train)
# 计算准确率并进行打印
print("Accuracy = {0:.2f}".format(estimator.score(X_test, y_test))) # 冒号左侧的0表示对应参数的索引，此处只有一个参数0可省略
# 0.93
注意：
- LogisticRegression和LogisticRegressionCV的主要区别是LogisticRegressionCV使用了交叉验证来选择正则化系数C。而LogisticRegression需要自己每次指定一个正则化系数。除了交叉验证，以及选择正则化系数C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同。
- Keras 实现
在sklearn中我们只要实例化分类器并利用fit方法进行训练，最后衡量它的性能就可以了，那在tf.keras中与在sklearn非常相似，不同的是：
- 构建分类器时需要进行模型搭建（分类器需要自己去构建）
- 数据采集时，sklearn可以接收字符串型的标签，如：“setosa”，但是在 tf.keras 中需要对标签值进行热编码，如下所示：
（1）对标签值热编码
有很多方法可以实现热编码，比如 pandas 中的 get_dummies() ，在这里我们使用 tf.keras 中的方法进行热编码：
def onehot\_encode\_object\_array(arr):
# 去重获取全部的类别
# return\_inverse为True时：会构建一个递增的唯一值的新列表，并返回旧列表arr中的值在新列表uniques中的索引列表ids
uniques, ids = np.unique(arr, return_inverse=True)
# 返回热编码的结果
return utils.to_categorical(ids, len(uniques))
# 训练集热编码
y_train_onehot = onehot_encode_object_array(y_train)
# 测试集热编码
y_test_onehot = onehot_encode_object_array(y_test)
注意：
np.unique将数组中的元素进行去重操作，详见：https://blog.csdn.net/Hhjnv/article/details/122916912to_categorical()用于分类，将标签转为one-hot编码，详见：https://blog.csdn.net/nima1994/article/details/82468965
（2）模型搭建
在 sklearn中，模型都是现成的。
而 tf.Keras 是一个神经网络库，我们需要根据数据和标签值构建神经网络，神经网络可以发现特征与标签之间的复杂关系。
神经网络是一个高度结构化的图，其中包含一个或多个隐藏层，每个隐藏层都包含一个或多个神经元。
神经网络有多种类别，该程序使用的是 密集型神经网络，也称为 全连接神经网络：一个层中的神经元将从上一层中的每个神经元获取输入连接。例如，下图显示了一个密集型神经网络，其中包含 1 个输入层、2 个隐藏层以及 1 个输出层
上图 中的模型经过训练并馈送未标记的样本时，它会产生 3 个预测结果：相应鸢尾花属于指定品种的可能性。对于该示例，输出预测结果的总和是 1.0。该预测结果分解如下：山鸢尾为 0.02，变色鸢尾为 0.95，维吉尼亚鸢尾为 0.03。这意味着该模型预测某个无标签鸢尾花样本是变色鸢尾的概率为 95％。
与上一层完全连接的隐藏层称为 密集层。在图中，两个隐藏层都是密集的。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
是 1.0。该预测结果分解如下：山鸢尾为 0.02，变色鸢尾为 0.95，维吉尼亚鸢尾为 0.03。这意味着该模型预测某个无标签鸢尾花样本是变色鸢尾的概率为 95％。
与上一层完全连接的隐藏层称为 密集层。在图中，两个隐藏层都是密集的。
[外链图片转存中…(img-EjMKdNLj-1715605552137)]
[外链图片转存中…(img-sWY1fAnH-1715605552137)]
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
1884
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
