机器学习中的线性代数

第二章 机器学习中的线性代数知识

线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始介绍深度学习之前，先集中探讨一些必备的线性代数知识。

2.1 标量，向量，矩阵和张量

标量（scalar）：一个标量就是一个单独的数。用斜体表示标量，如 $s \in R$.

向量（vector）：一个向量是一列数，我们用粗体的小写名称表示向量。比如 $\bf x$，将向量$\bf x$ 写成方括号包含的纵柱：

$${\bf x}= \begin {bmatrix} x_1\\x_2\\ \vdots \\x_n\\ \end{bmatrix}$$
矩阵（matrix）：矩阵是二维数组，我们通常赋予矩阵粗体大写变量名称，比如 $\bf A​$ 。如果一个矩阵高度是 $m​$，宽度是 $n​$，那么说 $\bf A\in \bf R ^{m \times n}​$ 。一个矩阵可以表示如下：
$${\bf A}= \begin{bmatrix} x_{11} &x_{12}\\ x_{21} & x_{22}\\ \end{bmatrix}$$
张量（tensor）：某些情况下，我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中，就将其称为张量。用 $\bf A​$ 表示，如张量中坐标为 $(i,j,k)​$的元素记作 ${\bf A}_{i,j,k}​$。

转置（transpose）：矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线称为主对角线（main diagonal）。将矩阵$\bf A$的转置表示为${\bf A^\top}$。定义如下：

$$({\bf A^\top})_{i,j}=\bf A_{j,i}$$

A=⎡⎣⎢x11x21x31x12x22x32⎤⎦⎥⟹A⊤=[x11x21x21x22