内积与范数
根据元素取值方式的不同,向量分为常数向量、函数向量和随机向量。如前所述,常数向量是元素为常数的向量;函数向量是元素取某个变量的函数值的向量;而随机向量则是元素为随机变量的向量。虽然常数向量、函数向量和随机向量的内积定义公式有所不同,但是无论向量取何种形式,向量的内积和范数都必须服从一定的公理。用和
分别代表实数域和复数域。
定义1.
令V是复向量空间。函数<x,y>:VxV➡C称为向量x 与y 的内积,若对所有x, y,z ∈ V,以下内积公理满足:
(1)<x,x> ≥ 0 (非负性)
(1a)<x,x>= 0,当且仅当x=0 (正性)
(2)<x+y,z>=<x,z>+<y,z> (可加性)
(3)<cx,y>= c*<x,y>,对所有复常数c成立 (齐次性)
(4)<x,y>=<y,x>* (Hermitian 性)
其中,*表示复数共轭。
定义2.
令V是复向量空间。函数|x|:V→R称为向量x的范数,若对所有x,y∈V,下面的范数公理成立:
(1)||x||≥ 0 (非负性)
(1a)||x||= o,当且仅当x = 0 (正性)
(2)||cx||=|c| ||x||,对所有复常数c成立 (齐次性)
(3)||x+y||≤||x||+||y|| (三角不等式)
常数向量的内积与范数
两个rn×1维常数向量和
的内积(或叫点积)定义为
两个向量之间的夹角定义为
两个常数向量称为正交,若它们的内积等于零,即,并记作
。
常用的向量范数:
(1)范数又称和范数或者1范数
(2)范数常称Euclidean范数或Frobenius范数
(3)范数又称无穷范数或极大范数
(4)范数又称Holder范数
函数向量的内积与范数
若x(t)和y(t)分别是变量t的函数向量,则它们的内积定义为
两个函数向量的夹角定义为
其中,是函数向量
的范数
若两个函数向量的内积等于零,则
所以。两个函数向量正交,记作
。
随机向量的内积与范数
若和
分别是样本变量
的随机向量,则它们的内积定义为
随机向量的范数定义为
与常数向量和函数向量的情况不同,m × 1随机向量和n×1随机向量
称为正交,若a()的任意元素与
的任意元素正交。这意味着,两个向量的互相关矩阵为零矩阵On×n,记作
,即