机器学习相关知识速查 - 持续更新

机器学习相关概念

博主不断学习中，部分内容不准确还望提出指正

线性代数

张量

• 张量(tensor)：超过2维的数组

生成子空间

• 生成子空间(span): 原始向量线性组合后能抵达点的集合（特殊 矩阵列向量生成的子空间为该方程式的值域）
• 只有一个解的阵 A，其解为 $A^{-1}$.满足的这种阵要求
  
  1. 方阵
  2. 所有列向量线性无关

范数

• 范数用于测量两个矢量间的距离。或单独向量的大小
• Lp 范数定义如下
  $$||x||_p = \left( \sum_i {|x_i|^p} \right)^\frac{1}{p}$$
• L2范数：也叫欧几里得范数。表示从原点出发到该向量的欧式距离。$L2^2$范数可简化为$||x||$，可通过向量间点积计算：$w^Tx$
  
  • L2范数在原点附近增长缓慢，此时需采用 L1范数计算
• L1范数： $$||x||_1 = \sum_i|x_i|$$ .比较0与非0元素差异是常用
• 最大范数：$L^{\infty}$范数：表示向量中最大幅值的元素的绝对值(就是$argmax$函数)
  $$||x||_{\infty} = \max_i|x_i|$$
• 弗罗贝尼乌斯范数：又称 Frobenius 范数。用于测量矩阵的大小或矩阵间的差异。
  $$||A||_F = \sqrt{\sum_{i,j}{A_{i,j}^2}}$$
• 点积用范数表示： $$x^Ty = ||x||_2||y||_2cos\theta$$

特征分解

• 特征向量：一个向量$v$满足 $$Av=\lambda v$$
• $$A = Vdiag(\lambda)V^{-1}$$ 这里 V 为特征向量阵，diag($\lambda$)为特征值阵
• 构建特定特征值与特征向量的矩阵可以使我们在目标方向上延伸空间

奇异值分解SVD

• 提供了新的分解模式奇异向量+奇异值 $$A = UDV^T$$
  
  • 这里若 A 为 (m,n).则 U为(m,m) V 为(n,n)D 为（m,n）
  • U与 V全都定义为正交阵，D 为对角阵。
  • D 对角线上元素称为 A 阵的奇异值
  • U 的列向量为 A 的左奇异向量
  • V 的列向量为 A 的右奇异向量
• SVD 将求逆扩展到非方阵上。(伪逆)

Moore-Penrose 伪逆

• 目的：希望给阵 A 找到个左逆B 使得原$Ax=y$变为$x=By$
• 定义：$A^+ = VD^+U^T$
  
  • U,V 为 A 的左右奇异阵
  • $D^+$是将，奇异分解的 D 通过对内部非零元素取倒数后再转置得到的
• 特性：
  
  • 当$m<n$时，伪逆得到的线性方程的解是众多解的一种。特别的将 $$x=A^+y$$ 得到的将是所有解中2范数最小的
  • 当$m>n$时，此时组成的线性方程本身可能无解。此时通过伪逆得到的 x 是使得