深度学习 DEEP LEARNING 学习笔记（二）

• 在CSDN潜水多年，终于有勇气在这里留下一些来过的痕迹。
• 深度学习本书的作者是伊恩·古德费洛，约书亚·本吉奥，亚伦·库维尔
• 如果觉得我的笔记有不合适的地方，欢迎留言。

学习笔记（二）

关键字：1.线性相关和生成子空间 2.范数 3.特殊类型的矩阵和向量

• 线性相关和子空间
  （1）线性组合：
  Ax=b线性方程组有三种情况，无解，唯一解，无穷解
  矩阵A的列向量看作从原点出发的不同方向，x中的每个元素表示沿着方向走多远。xi表示我们需要沿着第i个向量的方向走多远：
  一般而言，将这种操作称为线性组合。一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。
  （2）线性无关，线性相关
  如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关。反之为线性相关。

• 范数
  （1）定义：
  我们用称为范数的函数来衡量向量的大小。形式上，范数定义如下：
  向量x的范数衡量从原点到点x的距离。范数是满足下列性质的任意函数：
  （2）类别

• 欧几里得范数，从原点出发到向量x确定的点的欧几里得范数。欧几里得范数对每个元素的导数和整个向量相关。

• 平方范数，也用来衡量向量的大小，比欧几里德范数计算方便。平方范数对x中每个元素的导数之取决于对应的元素。

• 范数，区分恰好是零的元素和非零但值很小的元素是很重要的。当问题中零和非零元素之间的差异非常重要时，通常使用范数。该范数可以简化如下

• 范数，用来统计向量中非零元素的个数来衡量向量的大小。

• 范数，也称为最大范数。这个范数表示向量中具有最幅值的元素的绝对值。

• Frobenius范数，用来衡量矩阵的大小。

• 特殊类型的矩阵和向量
  （1）对角矩阵：只在主对角线上有非零元素，其他位置上都是零。

• 方阵：有逆矩阵

• 非方阵：无逆矩阵
  （2）对称矩阵：
  （3）正交矩阵：
  行向量和列向量是分别标准正交的方阵