深度学习笔记01

首先也是参考以下链接中的内容进行的一个学习，希望总结后能有写收获。
链接: DeepLearning.

线性代数

标量，向量，矩阵，张量

标量：单独的数，用斜体小写字母表示。
向量：表示一列数。

矩阵：表示一个二维数组。有时我们需要对矩阵进⾏逐元素操作，如将函数 f 应⽤到 A 的所有元素上，此时我们⽤ f(A)i,j 表⽰。

张量：超过二维的数组

矩阵转置

相当于沿着对角线翻转，矩阵转置后从m×n的维度变成了n×m。
向量可以看做只有一列的矩阵，标量也可以看成一行一列的矩阵。

矩阵加法

加法要求矩阵的维度一样，对应元素相加。
数乘则是一个标量与矩阵每个元素相乘。
有时候允许矩阵与向量相加，得到了一个矩阵，将向量加到了矩阵的每一行上，本质是构造了一个将向量按行复制的一个新矩阵，这种机制叫做广播。

矩阵乘法

两个矩阵相乘得到第三个矩阵，A的维度是m×n，B的维度是n×p，得到的C的维度是m×p。矩阵乘法不是对于元素相乘，元素对应相乘又叫Hadamard乘积。
向量可以看做是列为1的矩阵。

单位矩阵

定义单位矩阵：单位矩阵乘以任意一个向量等于这个向量本身。

矩阵的逆

范数

通常用范数衡量向量。
欧几里得范数是向量x到原点的欧几里得距离。

特征值分解

不是所有的矩阵都有特征值分解
某些情况下，实矩阵的特征值分解可能会得到复矩阵。

奇异值分解

奇异值分解是另一种分解矩阵的方式，将其分解为奇异向量和奇异值。奇异值分解比特征值分解通用性更强，所有的实矩阵都可以进行奇异值分解，而特征值分解只能对某些方阵分解。

PCA主成分分析