向量和向量空间
一.向量的范数:
- 定义:向量的范数是刻画向量大小的数学量.其本质是一种人为定义的由n维向量到实数R的映射关系( ∣ ∣ ⋅ ∣ ∣ n : C n − > R ||\cdot||_n:C^n->R ∣∣⋅∣∣n:Cn−>R).这种关系需要满足:
- 正定性: ∣ ∣ x ⃗ ∣ ∣ n ||\vec x||_n ∣∣x∣∣n非负,且只有n维零向量 ∣ ∣ 0 ⃗ ∣ ∣ n = 0 ||\vec0||_n=0 ∣∣0∣∣n=0
- 齐次性:对于实数λ, ∣ ∣ λ x ⃗ ∣ ∣ n = ∣ λ ∣ ⋅ ∣ ∣ x ⃗ ∣ ∣ n ||\lambda \vec x||_n=|\lambda|\cdot||\vec x||_n ∣∣λx∣∣n=∣λ∣⋅∣∣x∣∣n
- 三角不等式: ∣ ∣ x ⃗ + y ⃗ ∣ ∣ n ⩽ ∣ ∣ x ⃗ ∣ ∣ n + ∣ ∣ y ⃗ ∣ ∣ n ||\vec x+\vec y||_n\leqslant||\vec x||_n+||\vec y||_n ∣∣x+y∣∣n⩽∣∣x∣∣n+∣∣y∣∣n
1:常见范数:
- n维向量的p范数: ( ∑ i n ∣ v i ∣ p ) 1 p (\sum_{i}^{n}{|v_i|^p})^{\frac{1}{p}} (∑in∣vi∣p)p1,其中常用的有1-范数、2-范数、 ∞ \infty ∞-范数(p取无穷,p范数近似等于n维向量的最大/最小元素的绝对值).
- n维向量的m维范数:若有n维向量Vn,以及m*n维的矩阵A,则可以将Vn通过乘以A转化为一个m维向量Vm=A ⋅ \cdot ⋅Vn.然后得到 ∣ ∣ V n ∣ ∣ n = ∣ ∣ A ⋅ V n ∣ ∣ m ||Vn||_n=||A\cdot Vn||_m ∣∣Vn∣∣n=∣∣A⋅Vn∣∣m.
2:不等关系:
柯西-施瓦茨不等式:
常见的柯西-施瓦茨不等式,实际上就是刻画向量数量积和向量2-范数关系的不等式.用自然语言描述为:两个向量的数量积小于等于二者2-范数的乘积.
∣ x T y ∣ ⩽ ∣ ∣ x ∣ ∣ ⋅ ∣ ∣ y ∣ ∣ |x^Ty|\leqslant||x||\cdot||y|| ∣xTy∣⩽∣∣x∣∣⋅∣∣y∣∣或者将其展开为 x 1 y 1 + x 2 y 2 + . . . + x n y n ⩽ x 1 2 + x 2 2 + . . . + x n 2 ⋅ y 1 2 + y 2 2 + . . . + y n 2 x_1y_1+x_2y_2+...+x_ny_n\leqslant\sqrt{x_1^2+x_2^2+...+x_n^2}\cdot \sqrt{y_1^2+y_2^2+...+y_n^2} x1y1+x2y2+...+xnyn⩽x12+x22+...+xn2