深度学习（二）—— 必备数学知识

目录

1. 数组

2. 张量：适合深度学习 的 N维数组

3. 数据预处理

4. 数学知识

（1）标量、向量、矩阵和张量

（2）求导

（3）自动求导

---

1. 数组

批量 : batch

索引从0开始

2. 张量：适合深度学习 的 N维数组

numpy 的 ndarray 张量, torch 的 Tensor 张量类似：

但，深度学习框架 torch 的 Tensor 比 Numpy 的 ndarray 多一些重要功能： 首先，GPU很好地支持加速计算，而 NumPy 仅支持 CPU 计算； 其次，张量类支持自动微分

张量的基本数学运算、广播、索引、切片、内存节省和转换其他Python对象：

1.连结（concatenate）

2.即使形状不同，仍可通过调用 广播机制 （broadcasting mechanism） 来执行按元素操作

3. 数据预处理

一般使用  pandas 预处理原始数据，并将原始数据转换为张量格式

用pandas处理 缺失的数据 时，我们可根据情况选择用 插值法 和 删除法 。

4. 数学知识

（1）标量、向量、矩阵和张量

• 标量、向量、矩阵和张量是线性代数中的基本数学对象。

• 标量、向量、矩阵和张量分别具有零、一、二和任意数量的轴。

（2）求导

（3）自动求导

 自动求导

 

参考：
GitHub - d2l-ai/d2l-pytorch-slides: Automatically Generated Notebook Slides

@article{zhang2021dive,
    title={Dive into Deep Learning},
    author={Zhang, Aston and Lipton, Zachary C. and Li, Mu and Smola, Alexander J.},
    journal={arXiv preprint arXiv:2106.11342},
    year={2021}
}