深度学习之基础-线性代数

第二章 线性代数

2.4 线性相关

书里面给的现行相关的例子不是很明了，百科给出的现行相关定义
设α₁,α₂,…,αₑ(e≥1)是域P上线性空间V中的有限个向量.若V中向量α可以表示为：α=k₁α₁+k₂α₂+…+kₑαₑ(kₑ∈P,e=1,2,…,s),则称α是向量组α₁,α₂,…,αₑ的一个线性组合,亦称α可由向量组α₁,α₂,…,αₑ线性表示或线性表出.
给出的实例如下：
定义矢量为[2 4 1 5]，[3 5 1 2]，[5 6 2 1]，[9 0 1 3]·权重为0.1，0.4，0.25，0.25。求其线性组合s。
s的第一个元素为 0.12+0.43+0.255+0.259依次类推

可以看出，对比方程 Ax=b 四个矢量就是矩阵A中的四个列向量，而权重组合成一个向量则是x。如此就可以理解，b向量的第i个维度是对A中每一个列向量的第i个维度用x作为权重加权计算得到，（x权重总和可能不是1）

2.5 范数

范数是一个将向量映射到非负值的函数，其通用定义如下
$$||x|{|}_p=(\sum |x_i{|}^p{)}^{1/p}$$
当p等于2且i等于2时，是常见的平面上向量长度，但是注意p是属于实数的值，因此其数值未必额i的最大值相同，对于三维向量，依旧可以对其取 L2范数

常用范数：

• 平方范数，即p=2的情况下，这种范数的计算方便，但是由于其导数和每个元素相关，在零点附近变化不理想
• 一级范数，p=1情况，简化为
  $$||x|{|}_1=\sum |x_i|$$
• 最大范数，代表向量中具有最大振幅值的元素
  $$||x|{|}_{\infty }=max|x_i|$$
• 矩阵大小的frobenius范数
  $$||A|{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$

2.7 特征分解

• 特征向量：指与A相乘后相当于对该向量进行缩放的非零向量：
  $$A\ast \nu =\lambda \nu$$
• 特征值：，对应的常数λ
• 特征分解：A的n个线性无关的特征向量和其特征值矩阵向量化，
  $$A=V\ast diag(\lambda )\ast V^{-1}$$