深度学习-应用数学于机器学习基础-2

1、范数

在机器学习中我们将被称为范数的函数衡量向量的大小。从形式上L^p范数定义如下

范数是将向量映射到非负值的函数，只管上来说，向量x的范数衡量从原点到x的距离。当p=2时，L^2范数被称为欧几里得范数。它表示从原点出发到向量x确定的点的欧几里得距离。在机器学习中L2范数使用的十分频繁。简化写法为||X||省略了下标2。

2、特殊类型的矩阵和向量

对角矩阵（diagonal matrix）只在主对角线上含有非零元素，其他位置都是零。单位矩阵就是典型的对角矩阵。
我们用 diag(v) 表示一个对角元素由向量 v 中元素给定的对角方阵。对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。计算乘法 diag(v)x，我们只需要将 x 中的每个元素 x i 放大 v i 倍。换言之，diag(v)x = v ⊙ x。

**对称（symmetric）**矩阵是转置和自己相等的矩阵：
单位向量（unit vector）是具有单位范数（unit norm）的向量：
如果 x ⊤ y = 0，那么向量 x 和向量 y 互相正交（orthogonal）
正交矩阵（orthogonal matrix）是指行向量和列向量是分别标准正交的方阵：
这意味着

3、特征分解

特征分解（eigendecomposition）是经常使用的矩阵分解之一。我们将矩阵分解为一组特征向量和特征值。
方阵 A 的特征向量（eigenvector）是指与 A 相乘后相当于对该向量进行缩放的非零向量 v
Av = λv
标量λ被称为特征值。
如果v是***A*的特征向量，那么任何缩放后的向量sv也是A的特征向量。
所有特征值都是正数的矩阵被称为正定（positive definite）；所有特征值都是非负数的矩阵被称为半正定（positive semidefinite）。同样地，所有特征值都是负数的矩阵被称为负定（negative definite）；所有特征值都是非正数的矩阵被称为半负定（negative semidefinite）。半正定矩阵受到关注是因为它们保证 ∀x,x ⊤ Ax ≥ 0。此外，正定矩阵还保证 x ⊤ Ax = 0 ⇒ x = 0。