《动手学深度学习v2》之细致解析（2)数据处理以及相关数学基础

Trafalger D Water Law

已于 2023-01-02 15:33:12 修改

阅读量210

点赞数 2

分类专栏：动手学深度学习文章标签：深度学习 python pandas

于 2023-01-02 15:20:11 首次发布

本文链接：https://blog.csdn.net/qq_52371907/article/details/128520958

版权

动手学深度学习专栏收录该内容

4 篇文章 1 订阅

订阅专栏

前言

作者来自北京某不知名985，现在是本科在读学生，专业是数据科学与大数据技术，班上同学都太卷了，没办法，需要学习深度学习，经大佬介绍，在B站上找到了一个很不错的资源，李沐老师的《动手学深度学习v2》，不仅有全套视频，讲解细致，而且配套资料全部公开免费，不用加公众号也不用私别人的vx，我觉得挺不错，在这里做一个学习记录，也想跟大家一起讨论深度学习相关的问题。新的一年，不要摆烂，一起加油！！！

这里附上连接：

跟李沐学AI的个人空间-跟李沐学AI个人主页-哔哩哔哩视频

1. 引言 — 动手学深度学习 2.0.0 documentation

相关的视频和书籍的pdf都有介绍，可以免费下载，然后还有jupyter，非常nice，ok下面咱们进入正题，本博客的图片基本来自李沐老师的视频

本文章包含了《动手学深度学习v2》视频中的 04，05，06，07，这几章基础知识比较多，同时李沐老师的ppt讲解的也很仔细，我就大量上图了，一些容易有疑问的点我在后面进行了例子的辨析与讲解，大家可以参考！

04 数据处理

最基本的处理单元——N维数组

创建数组

形状：例 3*4
每个元素的数据类型
每个元素的值

访问元素

一个元素【1,2】

一行【1，：】

一列【：，1】

子区域【1:3,1：】第一行到第三行（不包括第三行），取这几行的第一列

【：：3，：：2】这个是选取0-m行中为3的倍数的行，再在这些行中选取0-n列中，列数为2的倍数的列

05 线性代数

基本概念的回顾

矩阵乘法可能比较容易忘记，这里我再提一嘴，两个矩阵A,B能够实现AB 的首要条件就是A的列数等于B的行数，同时，新生成的矩阵的行数等于A矩阵行数，新生成矩阵的列数等于B的列数，就像两个人结婚生子，小孩会得到母亲的一半染色体也会得到来自父亲的一半染色体。

同时新生成的矩阵C的 $C_{ij}=\sum_{k=0}^n A_{ik}B_{kj}$ 也就是说，新矩阵C的第i行第j列等于A矩阵的第i行的（假设A的列数为n，那么B的行数也为n）n个数（列）与B矩阵第j列的n个数（行）相乘，也就是矩阵乘法的定义

06 矩阵计算

重要的是我们需要弄清楚相除之后的形状

因变量为标量，自变量为向量

此时我们可以将y与x的关系写作：

$y=f(x_1,x_2,x_3,x_4,....x_n)$

这时我们直接求导就行

$\frac{\partial y}{\partial\boldsymbol{x}}=(\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},\frac{\partial y}{\partial x_3},\frac{\partial y}{\partial x_4},....,\frac{\partial y}{\partial x_n})$

例：如 $y=a^TX$ ，其中a和X的维数相同，均为 $n\times 1$ 维向量，y为向量a和X的内积

这里我们要计算 $\frac{\partial y}{\partial X}$ ，其中y为标量，我们只需要将其拆分成一个累加和的形式，然后再进行求导：

$y=a^TX=\sum_{i=1}^{n}a_ix_i$

所以我们分别进行求导可以得到：

$\frac{\partial y}{\partial X}=(a_1,a_2,a_3,....a_n)=a$

这里跟我们上图得到的结果是相符的，一个因变量（标量）对一个自变量（ $1\times n$ 维向量）求导，得到的导数是一个 $n\times 1$ 维的向量

从几何的角度来理解，这里我们求的导数即为垂直于椭圆的切线方向，为梯度，即指向值变化最大的方向，在后面的机器学习中也是我们要求的目标

一维向量从数学的表达习惯上我们将其默认为列向量

有关公式已给出，我们例子中的即为最后一种内积的变式

因变量为向量，自变量为标量

跟上面的情况相似，也是展开然后分别求导

因变量和自变量均为向量

相当于分两步走，先拆解成一个列向量，再对每行进行标量对向量的求导，形成一个矩阵

例子： $Y=WX\,$ 其中Y为 $m\times 1$ 维向量，X为 $n\times 1$ 维向量,W为 $m\times n$ 维向量

$Y=WX=\begin{bmatrix} w_{11}x_1+w_{12}x_2+w_{13}x_3+....+w_{1n}x_n\\ w_{21}x_1+w_{22}x_2+w_{23}x_3+....+w_{2n}x_n\\ w_{31}x_1+w_{32}x_2+w_{33}x_3+....+w_{3n}x_n\\ .\\ .\\ .\\ w_{m1}x_1+w_{m2}x_2+w_{m3}x_3+....+w_{mn}x_n \end{bmatrix}\\ y_i=\sum_{j=0}^n w_{ij}x_j,\frac{\partial y_i}{\partial X_j}=w_{ij}$

因此由上面我们得到的求导公式可得：

$\frac{\partial Y}{\partial X}= \begin{bmatrix} w_{11},w_{12},.....w_{1n}\\ w_{21},w_{22},.....w_{2n}\\ .\\ .\\ .\\ w_{m1},w_{m2},.....w_{mn} \end{bmatrix}=W$